Apache Kafka geht live mit Version 3.3

Vorstellung von ZooKeepers Nachfolger  

Mit Apache Kafka 3.3 ist ZooKeeper zur internen Verwaltung von Metadaten definitiv Geschichte: Er wird durch das lösungsinterne Tool Kafka Raft (KRaft) ersetzt. KRaft wurde bereits mit der Veröffentlichung von Kafka 2.8 erstmals als Nachfolger des ZooKeepers vorgestellt, welcher bis dato verteilte, quelloffene Konfiguration und Synchronisierung sowie Namensregister für verteilte Anwendungen in Kafka verwaltete. Jedoch verblieb KRaft seit dem Release im Frühjahr 2021 in einem Early-Access–Zustand und war nicht für den produktiven Einsatz vorgesehen – bis jetzt! Mit dem diese Woche veröffentlichten Kafka 3.3 wurde KRaft der Status «Production-Ready» verliehen. Das bedeutet, dass KRaft ab sofort für neue Kafka-Cluster verwendet werden kann.

Gründe für den Umstieg auf KRaft

Es gibt gleich mehrere Gründe, wieso die Verantwortlichen im Apache–Kafka–Projekt künftig auf ein selbstverwaltetes Metadaten-Quorum setzen. Der Umstieg auf KRaft zielt einerseits darauf ab die Abhängigkeit zu ZooKeeper aufzulösen und somit die Gesamtkomplexität der Kafka-Architektur zu verringern. Zudem vereinfachen sich durch den Wegfall von ZooKeeper sowohl die Administration als auch der Betrieb von Kafka-Clustern, da für die Verwaltung des Controllers keine separaten Komponenten mehr benötigt werden. Weitere Vorteile von KRaft sind die schnelleren Failover-Zeiten bei Ausfall des Controllers sowie eine massive Verbesserung bei der Skalierung von Partitionen. Insbesondere deshalb lohnt sich für Administratoren und Administratorinnen von Kafka-Projekten ein Umstieg von ZooKeeper auf KRaft.  

Ist KRaft rückwärtskompatibel?

Was aber tun jene, die nicht den Luxus eines Greenfield-Ansatzes haben? Aktuell können bestehende, mit ZooKeeper verwaltete Kafka-Cluster noch nicht auf KRaft migriert werden. Eine solche Funktionalität wird frühstens mit dem für Ende 2022 geplanten nächsten Release verfügbar sein: Dann soll mit Kafka 3.4 eine experimentelle Unterstützung für die Migration von ZooKeeper auf KRaft nachgereicht werden. Eine effektive Migration produktiver Cluster auf KRaft wird jedoch erst mit dem Bridge-Release 3.5 möglich sein. Aber keine Angst: Aktuell hat gerade erst die Übergangsphase zu KRaft begonnen. Zwar gilt ZooKeeper voraussichtlich bereits ab Kafka 3.5 als veraltet, doch endgültig seinem Nachfolger weichen wird er wohl erst mit Kafka 4.0. Somit bleibt noch genügend Zeit für eine saubere Migration auf KRaft.