Blog Real Time Streaming

Real Time Big Data – Der Blog

Event Hubs wie Apache Kafka geben eine Ordering Guarantee und versprechen damit, dass die Events in derselben Reihenfolge gelesen werden, wie sie in die Queue geschrieben wurde. Dieser Blog-Post beleuchtet die Details und zeigt die Einschränkungen der garantierten Reihenfolge in Event Hubs im Real-Time Big Data. (weiterlesen)

Die Frage, ab wann sich Big Data lohnt, muss differenziert beantwortet werden. Der Blog-Post stellt eine Reihe grundsätzlicher Evaluationskriterien vor, um entscheiden zu können, ob es sich grundsätzlich lohnt, auf horizontal skalierbare Tools zu setzen, die nicht nur für sehr große Datenmengen funktionieren.  (weiterlesen)

Zeit im Big Data Stream Processing

Wo wird Data Stream Processing eingesetzt? Welche Infrastruktur ist dazu notwendig und welche Tools existieren? Dieser Artikel zeigt einige grundlegenden Herausforderungen und Konzepte (weiterlesen)

Das Big-Data-Filesystem verwaltet Daten auf hunderten von Rechnern. Verteiltes Rechnen basiert auf bewährten Konzepten und ist reif für viele Anwendungsfälle. Der Artikel erklärt die Grundkonzepte von HDFS und zieht Parallelen zur einfachen, nicht-verteilten Systemen. (weiterlesen)

Big Data Definition

Der Artikel beleuchtet spezielle Herausforderungen der Echtzeitanalyse im Big Data Stream Processing besonders im Hinblick auf den Faktor Zeit. (weiterlesen)

Big Data Analyse für Apache Kafka

Die Daten in den Apache Kafka Topics bergen einen Goldschatz an Informationen. Der Blog-Post stellt 10 Real-Time Analytics Tools vor (weiterlesen).

Für den Big-Data Cluster brauchen wir mindestens drei virtuelle Maschinen. Diese haben wir in den ersten Artikeln dieser Serie aufgesetzt. In diesem Tutorial vernetzen wir die virtuellen Maschinen zu einem Cluster, den wir für das Big Data Labor verwenden können (weiterlesen).

Infrastruktur Big-Data Training

Welches ist die minimal benötigte Infrastruktur, um sich mit Big-Data-Technologien vertraut zu machen. Dieser Artikel gibt Antworten in Form eines FAQ und berücksichtigt insbesondere den Aspekt des verteilten Rechnens und der horizontalen Skalierbarkeit.

Q: Laufen Big-Data-Tools auf Raspberry Pi? (weiterlesen)

Weitere Artikel

Die APIs für Big Data Stream Analytics werden immer einfacher. Real-Time Analysen sind sogar mit SQL möglich. Dabei kommen Window Operationen zum Einsatz. Mit den DataFrames von Apache Spark Structured Streaming sind diese schnell geschrieben (weiterlesen).

Apache ZooKeeper ist ein kampferprobter Koordinationsdienst für verteilte Computer-Systeme. ZooKeeper wird in unterschiedlichsten Systemen eingesetzt. Als Dienst für Dienste tritt er nicht offen in Erscheinung (weiterlesen).

Der Lockruf der innovativen Big-Data-Technologien ist laut. Coole APIs sind scheinbar einfach zu bedienen. Der Blog Post zieht Vergleiche zwischen Big-Data-Technologien und herkömmlichen Programmierparadigmen (weiterlesen).

Schon erstaunlich, dass Big Data Technologien auch auf Winzlingen wie Raspberry Pi funktionieren.  Nachdem ich immer mit gut ausgestatteten Rechnern gearbeitet habe, reizte mich das Experiment, die Big-Data Software mit unter Minimalbedingungen zum Laufen zu bringen.

Das Ergebnis ist verblüffend – die Latenz ist viel geringer, als ursprünglich vermutet.  Und so funktioniert das erste Experiment  (weiterlesen).

Benötigt man mehr Infrastruktur als ein gutes Laptop um sich mit Big-Data-Technologien vertraut zu machen? Dieser Artikel gibt Antworten in Form eines FAQ und berücksichtigt insbesondere den Aspekt des verteilten Rechnens und der horizontalen Skalierbarkeit.

Q: Wie kann man eine Cloud-Umgebung auf dem Laptop simulieren?  (weiterlesen)

  • Bilde dich weiter - Grundwissen Echtzeitanalyse

  • E-Mail-Training - 5 Tage - 5 Learning Nuggets

  • Trade-Offs der Real-Time Analyse großer Datenströme

  • E-Mail-Training - Trade-Offs der Real-Time Analyse großer Datenströme