Blog Real Time Streaming

Real Time Big Data – Der Blog

Big Data Analyse für Apache Kafka

Die Daten in den Apache Kafka Topics bergen einen Goldschatz an Informationen. Der Blog-Post stellt 10 Real-Time Analytics Tools vor (weiterlesen).

Real-Time Big Data Streaming

Wo wird Data Stream Processing eingesetzt? Welche Infrastruktur ist dazu notwendig und welche Tools existieren? Dieser Artikel zeigt einige grundlegenden Herausforderungen und Konzepte (weiterlesen)

Für den Big-Data Cluster brauchen wir mindestens drei virtuelle Maschinen. Diese haben wir in den ersten Artikeln dieser Serie aufgesetzt. In diesem Tutorial vernetzen wir die virtuellen Maschinen zu einem Cluster, den wir für das Big Data Labor verwenden können (weiterlesen).

Leader Election Apache ZooKeeper

Apache ZooKeeper ist ein kampferprobter Koordinationsdienst für verteilte Computer-Systeme. ZooKeeper wird in unterschiedlichsten Systemen eingesetzt. Als Dienst für Dienste tritt er nicht offen in Erscheinung (weiterlesen).

Ordering Guarantee Apache ZooKeeper

Sei es als Message Queue, sei es als Event Hub ist Apache Kafka ist sehr beliebt. Apache Kafka kommt in Realtime Big Data Stream Processing Systemen zum Einsatz. Als verteiltes System ist Kafka auch sehr komplex. Das folgende Bild verdeutlicht die Grundidee (weiterlesen).

Weitere Artikel

Die APIs für Big Data Stream Analytics werden immer einfacher. Real-Time Analysen sind sogar mit SQL möglich. Dabei kommen Window Operationen zum Einsatz. Mit den DataFrames von Apache Spark Structured Streaming sind diese schnell geschrieben (weiterlesen).

Der Lockruf der innovativen Big-Data-Technologien ist laut. Coole APIs sind scheinbar einfach zu bedienen. Der Blog Post zieht Vergleiche zwischen Big-Data-Technologien und herkömmlichen Programmierparadigmen (weiterlesen).

Das Hadoop Distributed Filesystem, kurz HDFS, bildet die Basis des Hadoop Ökosystems. Warum spricht man von einem Ökosystem? Wozu dient das Hadoop Ökosystem und welche Kategorien umfasst es. Diese Fragen werden im Folgenden beleuchtet (weiterlesen).

Schon erstaunlich, dass Big Data Technologien auch auf Winzlingen wie Raspberry Pi funktionieren.  Nachdem ich immer mit gut ausgestatteten Rechnern gearbeitet habe, reizte mich das Experiment, die Big-Data Software mit unter Minimalbedingungen zum Laufen zu bringen.

Das Ergebnis ist verblüffend – die Latenz ist viel geringer, als ursprünglich vermutet.  Und so funktioniert das erste Experiment  (weiterlesen).

Welches ist die minimal benötigte Infrastruktur, um sich mit Big-Data-Technologien vertraut zu machen. Dieser Artikel gibt Antworten in Form eines FAQ und berücksichtigt insbesondere den Aspekt des verteilten Rechnens und der horizontalen Skalierbarkeit.

Q: Laufen Big-Data-Tools auf Raspberry Pi? (weiterlesen)

Benötigt man mehr Infrastruktur als ein gutes Laptop um sich mit Big-Data-Technologien vertraut zu machen? Dieser Artikel gibt Antworten in Form eines FAQ und berücksichtigt insbesondere den Aspekt des verteilten Rechnens und der horizontalen Skalierbarkeit.

Q: Wie kann man eine Cloud-Umgebung auf dem Laptop simulieren?  (weiterlesen)