Apache Kafka geht live mit Version 3.3

Beitrag teilen

Kafka 3.3 ist da – und bringt eine wichtige Änderung bei der internen Verwaltung von Metadaten. Das Apache-Kafka-Projekt trennt sich dazu von ZooKeeper. Beim Nachfolger KRraft handelt es sich um selbstverwaltetes Metadaten-Quorum.

Vorstellung von ZooKeepers Nachfolger  

Mit Apache Kafka 3.3 ist ZooKeeper zur internen Verwaltung von Metadaten definitiv Geschichte: Er wird durch das lösungsinterne Tool Kafka Raft (KRaft) ersetzt. KRaft wurde bereits mit der Veröffentlichung von Kafka 2.8 erstmals als Nachfolger des ZooKeepers vorgestellt, welcher bis dato verteilte, quelloffene Konfiguration und Synchronisierung sowie Namensregister für verteilte Anwendungen in Kafka verwaltete. Jedoch verblieb KRaft seit dem Release im Frühjahr 2021 in einem Early-AccessZustand und war nicht für den produktiven Einsatz vorgesehen – bis jetzt! Mit dem diese Woche veröffentlichten Kafka 3.3 wurde KRaft der Status «Production-Ready» verliehen. Das bedeutet, dass KRaft ab sofort für neue Kafka-Cluster verwendet werden kann. 

Gründe für den Umstieg auf KRaft 

Es gibt gleich mehrere Gründe, wieso die Verantwortlichen im ApacheKafkaProjekt künftig auf ein selbstverwaltetes Metadaten-Quorum setzen. Der Umstieg auf KRaft zielt einerseits darauf ab die Abhängigkeit zu ZooKeeper aufzulösen und somit die Gesamtkomplexität der Kafka-Architektur zu verringern. Zudem vereinfachen sich durch den Wegfall von ZooKeeper sowohl die Administration als auch der Betrieb von Kafka-Clustern, da für die Verwaltung des Controllers keine separaten Komponenten mehr benötigt werden. Weitere Vorteile von KRaft sind die schnelleren Failover-Zeiten bei Ausfall des Controllers sowie eine massive Verbesserung bei der Skalierung von Partitionen. Insbesondere deshalb lohnt sich für Administratoren und Administratorinnen von Kafka-Projekten ein Umstieg von ZooKeeper auf KRaft 

Ist KRaft rückwärtskompatibel?

Was aber tun jene, die nicht den Luxus eines Greenfield-Ansatzes haben? Aktuell können bestehende, mit ZooKeeper verwaltete Kafka-Cluster noch nicht auf KRaft migriert werden. Eine solche Funktionalität wird frühstens mit dem für Ende 2022 geplanten nächsten Release verfügbar sein: Dann soll mit Kafka 3.4 eine experimentelle Unterstützung für die Migration von ZooKeeper auf KRaft nachgereicht werden. Eine effektive Migration produktiver Cluster auf KRaft wird jedoch erst mit dem Bridge-Release 3.5 möglich sein. Aber keine Angst: Aktuell hat gerade erst die Übergangsphase zu KRaft begonnen. Zwar gilt ZooKeeper voraussichtlich bereits ab Kafka 3.5 als veraltet, doch endgültig seinem Nachfolger weichen wird er wohl erst mit Kafka 4.0. Somit bleibt noch genügend Zeit für eine saubere Migration auf KRaft.

Wir unterstützen Sie bei der Migration Ihrer Kafka-Cluster

Kafka erfreut sich vom KMU bis zum Grosskonzern grosser Beliebtheit. Mit rund 20% Marktanteil bei Enterprise Application Integrations* sind zahlreiche Nutzer von der Umstellung betroffen. Planen Sie die Migration Ihrer Kafka-Cluster deshalb rechtzeitig. mesoneer unterstützt Ihr Unternehmen dabei gerne im Rahmen unserer Consulting Dienstleistungen. 

*https://enlyft.com/tech/products/apache-kafka

Noch Fragen?

Kontaktieren Sie uns!
Hier gehts zum Kontaktformular.