Beschreibung
Mit Big-Data-Technologien kann man immense Datenmengen verarbeiten, viel größer, als der persönlichen Laptop fassen kann. Die Daten werden auf viele Rechner verteilt und die Berechnungen erfolgen parallel auf mehreren Rechnern. Um die Tools kennen zu lernen, beschafft man sich am besten eine verteilte Umgebung. Es ist auch möglich, die Tools auf nur einem Rechner zu installieren, doch dann verbaut man sich die Chance, wichtige Aspekte der Big-Data-Berechnungen kennen zu lernen.
Dieser Band enthält drei Tutorials. Jedes zeigt eine andere Möglichkeit, um eine Trainingsumgebung zu bauen:
- In Tutorial A bauen wir einen Cluster mit Raspberry Pi.
- In Tutorial B bauen wir einen Cluster mit virtuellen Maschinen am Beispiel von VirtualBox.
- In Tutorial C bauen wir einen Cluster in der Cloud am Beispiel von AWS.
Mit keinem der Trainings-Cluster aus den drei Tutorials wird man Datenmengen im Tera- oder Petabyte-Bereich verarbeiten, doch mit jeder Umgebung lernt man die Big-Data-Technologien hautnah kennen, um anschließend produktiv Big Data zu verarbeiten.
In den weiteren Bände des Big Data Trainings werden wir schrittweise eine Big Data Architektur aufbauen.
Zum Big Data Training
Big-Data-Technologien wurden in der ersten Dekade dieses Jahrhunderts bei den Internet-Riesen geschaffen und fanden ihren Weg in die Open Source Welt. Noch gibt es keine Standards und kaum Good Practices. Und doch wächst das allgemeine Interesse an diesen Technologien. Wer sie kennen lernen möchte, braucht keine immensen Datenmengen und Rechenzentren. Es reicht aus, eine Trainingsumgebung zu bauen und die einzelnen Komponenten der Big-Data-Technologien in geeigneter Reihenfolge kennen zu lernen. Und genau das ist das Ziel der Serie “Big Data Training”. Es zeigt die theoretischen Grundlagen, die Installation in der Trainingsumgebung und praktische Hands-On-Übungen.
Die Autoren
Ursula Deriu hatte nach ihrem Mathematikstudium in ihrer beruflichen Laufbahn viele verschiedene Rollen in der Software-Entwicklung sowie im Projekt- und Linienmanagement inne. Sie unterrichtet seit mehr als zwanzig Jahren an verschiedenen Fachhochschulen Fächer aus den Themenkreisen Big Data und Data Science. Sie führt auch unternehmensinterne Ausbildungen zu diesen Themenbereichen durch.
Ilir Fetai arbeitet aktuell bei den SBB als Senior Architekt mit Schwerpunkt künstliche Intelligenz und Technologiemanagement. Er hat an der Universität Basel im Bereich verteilte Informationssysteme promoviert. Ilir Fetai hat langjährige Erfahrung in der Forschung, Lehre und Industrie in den Bereichen Datenbanken, verteilte Informationssysteme und Cloud Computing.
