Blog Real Time Streaming

Real Time Streaming

Real-Time Big Data Streaming

Realtime Big Data Stream Processing

Wo wird Data Stream Processing eingesetzt? Welche Infrastruktur ist dazu notwendig und welche Tools existieren? Dieser Artikel zeigt einige grundlegenden Herausforderungen und Konzepte. ..

Leader Election Apache ZooKeeper

Leader Election am Beispiel von Apache ZooKeeper

Apache ZooKeeper ist ein kampferprobter Koordinationsdienst für verteilte Computer-Systeme. ZooKeeper wird in unterschiedlichsten Systemen eingesetzt. Als Dienst für Dienste tritt er nicht offen in Erscheinung und ist Vielen unbekannt. ZooKeeper kommt in Systemen zum Einsatz, die im Artikel Realtime Big Data Stream Processing beschrieben werden…

Ordering Guarantee Apache ZooKeeper

Ordering Guarantee in Apache Kafka

Sei es als Message Queue, sei es als Event Hub ist Apache Kafka ist sehr beliebt. Apache Kafka kommt in Realtime Big Data Stream Processing Systemen zum Einsatz. Als verteiltes System ist Kafka auch sehr komplex. Das folgende Bild verdeutlicht die Grundidee…

Streaming mit Window Operation in Apache Spark

Die APIs für Big Data Stream Analytics werden immer einfacher. Real-Time Analysen sind sogar mit SQL möglich. Dabei kommen Window Operationen zum Einsatz. Mit den DataFrames von Apache Spark Structured Streaming sind diese schnell geschrieben….

Hodoop Ökosystem in Kategorien

Hadoop Ökosystem in Kategorien

Das Hadoop Distributed Filesystem, kurz HDFS, bildet die Basis des Hadoop Ökosystems. Warum spricht man von einem Ökosystem? Wozu dient das Hadoop Ökosystem und welche Kategorien umfasst es. Diese Fragen werden im Folgenden beleuchtet. …