Veröffentlicht am Schreiben Sie einen Kommentar

Garantierte Reihenfolge in Apache Kafka

Ordering Guarantee Apache ZooKeeper

Sei es als Message Queue, sei es als Event Hub ist Apache Kafka ist sehr beliebt. Apache Kafka kommt in Realtime Big Data Stream Processing Systemen zum Einsatz. Als verteiltes System ist Kafka auch sehr komplex. Das folgende Bild verdeutlicht die Grundidee:


Der Producer schreibt laufend Nachrichten auf eine Topic, also eine Message Queue. Der Consumer holt diese bei Bedarf dort ab.

Zusammen mit der Aussage der Ordering Guarantee, also der garantierten Reihenfolge, suggeriert das Bild, dass der Consumer die Nachrichten in genau der Reihenfolge erhält, wie der Producer sie schreibt.

Das folgende Video geht mit einem simplen Test dieser Behauptung nach. Bald stellen wir fest, dass sie einen Trugschluss birgt. Als Quizzlet enthält das Video auch Fragen und Antworten. (Ihre Antworten sind völlig anonym und werden nicht gesammelt.)

Apache Kafka ist ein komplexes System. Um das einfache API für den jeweiligen Anwendungsfall korrekt einzusetzen, benötigt man ein solides Verständnis des unterliegenden Systems.

Credits:

(c) Video und Quiz: Tirsus GmbH / Ursula Deriu

 

    • Seit mehr als 20 Jahren unterrichte ich Data Management und Data Engineering an mehreren Schweizer Fachhochschulen.
    • Seit etwa zehn Jahren sind Big-Data-Technologien dazu gekommen. Ein faszinierender Themenkreis, der sich an wachsendem Interesse erfreut und den ich auf diesem Weg einem breiteren Fachpublikum erschließen möchte.
    • Ursula Deriu
    • Klick hier, um mehr über mich zu erfahren
Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.