Blog Real Time Streaming

Big Data – Engineering und Analytics – Der Blog

Data Lakehouse

Data Lakehouses eröffnen ungeahnte Perspektiven für Datenhaltung und Datenanalyse in der Cloud, selbst für sehr große Mengen und in Echtzeit. (weiterlesen)

MapReduce Funktionale Programmierung

Von der funktionale Programmierung mit Map und Reduce in Python, MapReduce bis hin zu MapReduce für Analyse von Big-Data mit SQL – der Artikel erläutert mit Hilfe von Beispielen. (weiterlesen)

CAP Theorem

Wer sich mit der Verarbeitung und Analyse großer Datenmengen befasst, also mit Big Data, ist täglich mit dem CAP Theorem konfrontiert. Der Artikel beleuchtet das CAP Theorem 20 Jahre nach dessen Beweis. (weiterlesen)

Kafka Ordering Guarantee

Wie erzwinge ich die Reihenfolge der Events in Apache Kafka? Bei verteilten Queues gibt es Einschränkungen in Bezug auf das FIFO-Prinzip. Was gilt es zu beachten? Der Artikel zeigt die Hintergründe. (weiterlesen)

Evaluation-Big-Data

Die Frage, ab wann sich Big Data lohnt, muss differenziert beantwortet werden. Der Blog-Post stellt eine Reihe grundsätzlicher Evaluationskriterien vor, um entscheiden zu können, ob es sich grundsätzlich lohnt, auf horizontal skalierbare Tools zu setzen, die nicht nur für sehr große Datenmengen funktionieren.  (weiterlesen)

Zeit im Big Data Stream Processing

Wo wird Data Stream Processing eingesetzt? Welche Infrastruktur ist dazu notwendig und welche Tools existieren? Dieser Artikel zeigt einige grundlegenden Herausforderungen und Konzepte (weiterlesen)

Das Big-Data-Filesystem verwaltet Daten auf hunderten von Rechnern. Verteiltes Rechnen basiert auf bewährten Konzepten und ist reif für viele Anwendungsfälle. Der Artikel erklärt die Grundkonzepte von HDFS und zieht Parallelen zur einfachen, nicht-verteilten Systemen. (weiterlesen)

Big Data Definition

Der Artikel beleuchtet spezielle Herausforderungen der Echtzeitanalyse im Big Data Stream Processing besonders im Hinblick auf den Faktor Zeit. (weiterlesen)

Big Data Analyse für Apache Kafka

Die Daten in den Apache Kafka Topics bergen einen Goldschatz an Informationen. Der Blog-Post stellt 10 Real-Time Analytics Tools vor (weiterlesen).

Trainingsinfrastruktur

Für den Big-Data Cluster brauchen wir mindestens drei virtuelle Maschinen. Diese haben wir in den ersten Artikeln dieser Serie aufgesetzt. In diesem Tutorial vernetzen wir die virtuellen Maschinen zu einem Cluster, den wir für das Big Data Labor verwenden können (weiterlesen).

Infrastruktur Big-Data Training

Welches ist die minimal benötigte Infrastruktur, um sich mit Big-Data-Technologien vertraut zu machen. Dieser Artikel gibt Antworten in Form eines FAQ und berücksichtigt insbesondere den Aspekt des verteilten Rechnens und der horizontalen Skalierbarkeit.

Q: Laufen Big-Data-Tools auf Raspberry Pi? (weiterlesen)

Weitere Artikel

Die APIs für Big Data Stream Analytics werden immer einfacher. Real-Time Analysen sind sogar mit SQL möglich. Dabei kommen Window Operationen zum Einsatz. Mit den DataFrames von Apache Spark Structured Streaming sind diese schnell geschrieben (weiterlesen).

Apache ZooKeeper ist ein kampferprobter Koordinationsdienst für verteilte Computer-Systeme. ZooKeeper wird in unterschiedlichsten Systemen eingesetzt. Als Dienst für Dienste tritt er nicht offen in Erscheinung (weiterlesen).

Der Lockruf der innovativen Big-Data-Technologien ist laut. Coole APIs sind scheinbar einfach zu bedienen. Der Blog Post zieht Vergleiche zwischen Big-Data-Technologien und herkömmlichen Programmierparadigmen (weiterlesen).

Schon erstaunlich, dass Big Data Technologien auch auf Winzlingen wie Raspberry Pi funktionieren.  Nachdem ich immer mit gut ausgestatteten Rechnern gearbeitet habe, reizte mich das Experiment, die Big-Data Software mit unter Minimalbedingungen zum Laufen zu bringen.

Das Ergebnis ist verblüffend – die Latenz ist viel geringer, als ursprünglich vermutet.  Und so funktioniert das erste Experiment  (weiterlesen).

Benötigt man mehr Infrastruktur als ein gutes Laptop um sich mit Big-Data-Technologien vertraut zu machen? Dieser Artikel gibt Antworten in Form eines FAQ und berücksichtigt insbesondere den Aspekt des verteilten Rechnens und der horizontalen Skalierbarkeit.

Q: Wie kann man eine Cloud-Umgebung auf dem Laptop simulieren?  (weiterlesen)

  • Abo: Data Engineering und Analytics
  • Abo: Data Engineering und Analytics