Beschreibung
Trainings-Cluster – Eine Übungsumgebung vorbereiten
Rechner vernetzen mit Single Board Computer, VirtualBox, AWS
Mit Big-Data-Technologien trittst Du in die beeindruckende Welt des verteilten Rechnens ein. Stell Dir vor: Gigantische Datenmengen werden geschickt auf verschiedene Rechner verteilt und dann parallel verarbeitet.
Möchtest Du dieses spannende Gebiet erkunden? Dann brauchst Du die richtige Trainingsumgebung! Es könnte zwar verlockend sein, Tools einfach auf einem Rechner zu installieren, aber nur in einer echten verteilten Umgebung wirst Du das wahre Potential von Big-Data-Technologien wirklich verstehen.
In diesem Leitfaden haben wir drei spannende Tutorials für Dich:
- Tutorial A: Entdecke die Faszination von Single Board Computern und erstelle einen Cluster mit Raspberry Pi.
- Tutorial B: Tauche in die Welt der virtuellen Maschinen ein und baue Deinen eigenen Cluster mit VirtualBox.
- Tutorial C: Du möchtest dein Cluster auf deinem neuen Mac mit M-Prozessor einrichten – dann hilft Dir das Tutorial für Parallels weiter.
- Tutorial D: Erkunde die Unendlichkeit der Cloud und setze einen Cluster mit AWS auf.
Auch wenn diese Trainingsumgebungen nicht für Tera- oder Petabyte-Datenmengen ausgelegt sind, geben sie Dir einen tiefen Einblick in die Big-Data-Technologien. Damit bist Du optimal vorbereitet, um später effizient mit Big Data zu arbeiten.
Und das Beste? Diese Trainingsumgebung öffnet Dir auch die Tür zu vielen weiteren spannenden Anwendungen im Bereich des verteilten Rechnens.
Inhaltsverzeichnis
Einleitung
1 EINLEITUNG
1.1 BIG DATA TRAINING
1.2 DER VORLIEGENDE BAND
1.3 FÜR WEN IST DAS BIG DATA TRAINING
1.4 BIG-DATA-SOFTWARE
1.5 BEGLEITENDE WEBSEITE
1.6 ANGLIZISMEN
1.7 SCHREIBWEISEN
2 BEGRIFFE UND DEFINITIONEN
2.1 SINGLE BOARD COMPUTER (SBC)
2.2 WAS IST ÜBERHAUPT EIN CLUSTER?
2.3 SERVER, NODES, KNOTEN, HOSTS
2.4 SWITCHES, ROUTER, RACKS
Tutorial A: Single Board Computer
3 TUTORIAL A: TRAININGS-CLUSTER MIT RASPBERRY PI
3.1 NETZWERKANBINDUNG ENTSCHEIDEN
3.1.1 Ausgangslage
3.1.2 Vergabe der IP-Adressen
3.1.3 Netz für das Cluster
3.2 TOPOLOGIE ENTWERFEN
3.2.1 Material für das Raspberry Pi Cluster
3.2.2 Beispiel-Topologien
3.2.3 Cluster Topologie entwerfen
3.3 ERSTE KOMPONENTEN BESCHAFFEN
3.4 MATERIALLISTE UND KOSTEN ERMITTELN
3.5 BUDGET PRÜFEN
3.6 HANDWERKSZEUG KENNEN LERNEN
3.6.1 SSH Client auf dem Laptop
3.6.2 SD-Karte formatieren
3.6.3 Betriebssysteme beschaffen und SD-Karte flashen
3.6.4 SD-Karten einsetzen
3.6.4 Peripherien verbinden
3.6.5 SD-Karte klonen
3.7 NETZWERK VORBEREITEN
3.7.1 Vorbereitungen
3.8 ROUTER KONFIGURIEREN (PI-200)
3.8.1 Variante 1: In-House Router
3.8.2 Variante 2: Low-Cost Router
3.8.3 Variante 3: Raspberry Pi Router
3.9 ERSTEN SERVER KONFIGURIEREN (PI-201)
3.9.1 SD-Karte erstellen
3.9.2 Netzwerk konfigurieren
3.9.3 SD-Karte einsetzen
3.9.4 Einloggen
3.9.5 Tastatur, neuer User, Hostname, Hosts, Netzwerk testen
3.9.6 Time-Server Client
3.9.7 Server SD-Karte vervollständigen
3.10 KONFIGURATION TESTEN
3.10.1 Variante 1
3.10.2 Variante 2
3.10.3 Variante 3
3.10.4 Variante 4a
3.10.5 Variante 4b
3.11 WEITERES MATERIAL BESCHAFFEN
3.12 CLUSTER AUFSETZEN
3.12.1 Klonen und Kopieren
3.12.2 Cluster einrichten
3.12.3 Cluster konfigurieren
3.13 ERSTES ZIEL ERREICHT
Tutorial B: VirtualBox
4 TUTORIAL B: TRAININGS-CLUSTER MIT VIRTUELLEN MASCHINEN (VIRTUALBOX)
4.1 VIRTUELLE MASCHINE VERSUS CONTAINER
4.1.1 Grundlegende Architektur
4.1.2 Virtuelle Maschinen
4.1.3 Container
4.2 EINE VIRTUALBOX EINRICHTEN UND KLONEN
4.2.1 Voraussetzung: Laptop
4.2.2 Voraussetzung: Prozessor
4.2.3 Voraussetzung: BIOS
4.2.4 Gast-Betriebssystem herunterladen
4.2.5 Vorbereitung: Server Namen
4.2.6 Voraussetzung: Virtualisierungssoftware
4.2.7 VirtualBox – eine erste virtuelle Maschine
4.2.8 Netzwerkkarten konfigurieren
4.2.9 Linux installieren
4.2.10 Hosts definieren
4.2.11 Den SSH-Server konfigurieren
4.2.12 Den Time-Server installieren
4.2.13 Grundpakete installieren
4.3 KLONEN
4.4 VIRTUELLE MASCHINEN VERNETZEN
4.4.1 Linux konfigurieren
4.4.2 Das interne Netzwerk testen
4.5 WEITERE CLUSTER KONFIGURATIONEN
4.6 ERSTES ZIEL ERREICHT
Tutorial C: Parallels
5 CLUSTER MIT PARALLELS
5.1 VORAUSSETZUNG INFRASTRUKTUR5.2 PARALLELS
5.3 GASTBETRIEBSSYSTEM
5.4 ERSTE VIRTUELLE MASCHINE DEFINIEREN
5.5 LINUX INSTALLIEREN
5.6 DIE VIRTUELLE MASC HINE KLONEN
5.7 DIE VERNETZTEN VIRTUELLEN MASCHINEN
5.8. DAS CLUSTER IST BEREIT
Tutorial D: AWS
6 TUTORIAL C: TRAININGS-CLUSTER IN DER CLOUD AM BEISPIEL VON AWS
6.1 VORBEREITUNG
6.2 AWS KONTO ANLEGEN
6.3 EINLOGGEN UND REGION WÄHLEN
6.4 DIE ERSTE VIRTUELLE MASCHINE EINRICHTEN
6.4.1 Das Schlüsselpaar (Key Pair)
6.5 KOSTEN KONTROLLIEREN: EINEN BILLING ALERT EINRICHTEN
6.6 EC2-DASHBOARD: DIE INSTANZEN
6.7 SSH VERBINDUNG AUFBAUEN
6.8 INSTANZ STOPPEN UND NEU STARTEN
6.9 PUBLIC UND PRIVATE IP-ADRESSEN
6.10 ELASTIC IP-ADRESSE ZUORDNEN
6.11 GRUNDPAKETE INSTALLIEREN
6.12 PRIVATE KEY HOCHLADEN
6.13 WEITERE INSTANZEN ALLOZIEREN
6.14 HOSTNAMEN FÜR DEN TRAINING-CLUSTER VORBEREITEN
6.15 SCHLUSSBEMERKUNGEN
6.16 ERSTES ZIEL ERREICHT
Gemeinsame Teile
7 GEMEINSAME TEILE
7.1 SSH-CLIENT AUF DEM LAPTOP
7.2 FÜR DEN ERSTEN SERVER
7.2.1 Softwarepakete aktualisieren
7.2.2 SSH-Server vorbereiten
7.2.3 Hostname und Hosts anpassen
7.2.4 Den User pi einrichten
7.2.5 Gemeinsame Pakete installieren
7.3 CLUSTER EINRICHTEN
7.3.1 Passwortfreies SSH
7.3.2 Das Cluster herunterfahren
Rezensionen
Ursula Deriu hatte nach ihrem Mathematikstudium in ihrer beruflichen Laufbahn viele verschiedene Rollen in der Software-Entwicklung sowie im Projekt- und Linienmanagement inne. Sie unterrichtet seit mehr als zwanzig Jahren an verschiedenen Fachhochschulen Fächer aus den Themenkreisen Big Data und Data Science. Sie führt auch unternehmensinterne Ausbildungen zu diesen Themenbereichen durch.
Ilir Fetai arbeitet aktuell bei den SBB als Senior Architekt mit Schwerpunkt künstliche Intelligenz und Technologiemanagement. Er hat an der Universität Basel im Bereich verteilte Informationssysteme promoviert. Ilir Fetai hat langjährige Erfahrung in der Forschung, Lehre und Industrie in den Bereichen Datenbanken, verteilte Informationssysteme und Cloud Computing.
Mit der Verwendung der Literatur «Trainings -Cluster mit Raspberry Pi», war es für mich rasch möglich den Raspberry aufzusetzen und ein Cluster einzurichten. Für mich war vor allem das Kapitel 3 «Tutorial A: Trainings-Cluster mit Raspberry Pi» sehr hilfreich, denn da wird unter anderem ausführlich erläutert, wie ein Netzwerk aufgebaut werden kann und die Raspberrys zu konfigurieren sind, um einen Cluster Grundaufbau realisieren zu können.
Marcel Greuter
Product Manager Digital Products
