Hadoop Distributed File System, MapReduce und Yarn

Hadoop Distributed File System, MapReduce und Yarn

Das Hadoop Distributed File System (hdfs) ist die Grundlage für eine wachsende Anzahl von Big Data Tools. Dieser Band erläutert die grundlegende Architektur von HDFS 2 und HDFS 3 und zeigt auf, wie dieses Filesystem die Verarbeitung großer Datenmengen ermöglicht. Wir installieren HDFS auf dem Trainings-Cluster, den wir im ersten Band vorbereiteten. Mit HDFS ist auch das Programmierparadigma MapReduce eng verknüpft. Wir sehen die Grundidee von MapReduce und geben einige Beispiele von MapReduce Verarbeitungen. Dazu wird die Programmiersprache Python eingesetzt. Um diese Programme im Hadoop-Cluster auszuführen, benötigen wir YARN. Dieses wird zusammen mit HDFS installiert und wir erläutern die Architektur und Arbeitsweise von YARN. Ausgerüstet mit diesem Grundverständnis sind wir bereit für die folgenden Big Data Trainings.

Zum Big Data Training

Big-Data-Technologien wurden in der ersten Dekade dieses Jahrhunderts bei den Internet-Riesen geschaffen und fanden ihren Weg in die Open Source Welt. Noch gibt es keine Standards und kaum Good Practices. Und doch wächst das allgemeine Interesse an diesen Technologien. Wer sie kennen lernen möchte, braucht keine immensen Datenmengen und Rechenzentren. Es reicht aus, eine Trainingsumgebung zu bauen und die einzelnen Komponenten der Big-Data-Technologien in geeigneter Reihenfolge kennen zu lernen. Und genau das ist das Ziel der Serie “Big Data Training”. Es zeigt die theoretischen Grundlagen, die Installation in der Trainingsumgebung und praktische Hands-On-Übungen.

 

Das Buch ist in Vorbereitung.

Durch die weitere Nutzung der Seite stimmen Sie der Verwendung von Cookies zu. Weitere Informationen

Die Cookie-Einstellungen auf dieser Website sind auf "Cookies zulassen" eingestellt, um das beste Surferlebnis zu ermöglichen. Wenn Sie diese Website ohne Änderung der Cookie-Einstellungen verwenden oder auf "Akzeptieren" klicken, erklären Sie sich damit einverstanden.

Schließen