Advanced Streaming Big Data with Spark - eLearning
450,00 EUR
- 25 hours
Tauchen Sie ein in die Echtzeit-Datenverarbeitung mit dem Training „Streaming Big Data with Spark“, das darauf ausgelegt ist, Ihnen beim Aufbau leistungsstarker, skalierbarer Datenpipelines zu helfen, die Informationen in dem Moment verarbeiten, in dem sie entstehen. Dieser Kurs führt Sie in die Streaming-Funktionen von Apache Spark ein und befähigt Sie dazu, mit kontinuierlichen Datenströmen für moderne Analyse- und Entscheidungssysteme zu arbeiten.
Hauptfunktionen
Sprache
Kurs und Materialien auf Englisch
Stufe
Mittelstufe – Fortgeschrittenes Niveau
Zugriff
1 Jahr Zugang zur Lernplattform
9 Stunden Video-on-Demand
mit über 25 Stunden empfohlener Lernzeit
38 geführte praktische Übungen
13 automatisch bewertete Prüfungen
33 Wiederholungsquizze
3 Praxisprojekte
Zertifikat
Zertifikat über den Abschluss des Programms inbegriffen
Lernergebnisse
Am Ende dieses Kurses werden Sie Folgendes verstehen können:
Laufzeit
Verschaffen Sie sich ein umfassendes Verständnis der Spark-Laufzeitarchitektur
DataFrame
Führen Sie grundlegende DataFrame-Operationen und -Funktionen in Spark aus
Stream
Lerne die Grundlagen der Stream-Verarbeitung mit Spark
Kafka
Untersuchen Sie die direkte Integration von Spark Streaming mit Apache Kafka
Amazon
Mit Spark Streaming und Amazon Kinesis arbeiten
Anwenden
Gleitfenster-Operationen in der Stream-Verarbeitung verstehen und anwenden
Kurszeitplan
Die Spark-Laufzeitumgebung
Lektion 01
- Das Spark-RDD verstehen
- Das Spark DataFrame verstehen
- Übersicht über die Spark-Laufzeitarchitektur
ETL mit Spark
Lektion 02
- Karten-Transformationen
- Die Verwandlungen
- Grundlegende Aktionen
- Transformationen von Schlüssel-Wert-Paaren
- Join-Operationen
- Numerische RDD-Operationen und Sampling-Funktionen
- Partitionierung in Spark
- Partitionen in Spark steuern
- Verwendung externer Programme mit Spark
SparkSQL und DataFrames
Lektion 03
- Spark SQL-Architektur
- Überblick über die DataFrame-API
- Erstellen von DataFrames
- DataFrame-Datenmodell und Schemas
- Grundlegende DataFrame-Operationen
- DataFrame-Funktionen
- Mengenoperationen und Aggregationen in DataFrames
- DataFrame-Speicherung und -Ausgabe
- DEMO zu Spark SQL und DataFrames
Einführung in die Stream-Verarbeitung mit Spark
Lektion 04
- Einführung in Spark Streaming
- Einführung in DStreams
- Die DStream-Operationen
Zustandsbehaftete Verarbeitung mit Spark Streaming
Lektion 05
- Die staatlichen Operationen
- Einführung in Event Sourcing
- Demonstration von zustandsbehaftetem Streaming mit Spark
Gleitfenster-Operationen mit Spark Streaming
Lektion 06
- Fensteroperationen
- Fensterfunktionen
- DEMO Gleitfenster-Operationen mit Spark Streaming
Einführung in Structured Streaming
Lektion 07
- Überblick über Structured Streaming
- Ausgabemodi und Trigger in Structured Streaming
- DEMO Einführung in Structured Streaming
Einführung in Apache Kafka
Lektion 08
- Apache Kafka – Überblick und Architektur
- Messaging mit Kafka
- Demo: Lokale Installation von Apache Kafka
Kafka-Integration mit Spark Streaming
Lektion 09
Verwendung von Spark Streaming mit Apache Kafka
Verwendung des Empfänger-Ansatzes
Lektion 10
- Demo: Lokale Installation von Apache Kafka
- Die direkte Vorgehensweise anwenden
- DEMO von Spark Streaming mit Apache Kafka unter Verwendung des Direct-Ansatzes
Kafka-Integration mit Structured Streaming
Lektion 11
- Strukturierte Streaming-Verarbeitung und Kafka
- Lesen und Schreiben von Daten in Kafka mit Structured Streaming
- DEMO Kafka und Structured Streaming
Verwendung von Spark Streaming mit Kinesis
Lektion 12
- Verwendung der Amazon Kinesis Producer- und Client-Bibliotheken
- DEMO Einführung in Amazon Kinesis
Verwendung von Spark Streaming mit Kinesis
Lektion 13
- Verwendung von Spark Streaming mit Amazon Kinesis
- DEMO Verwendung von Spark Streaming mit Amazon Kinesis
- Verwendung von Structured Streaming mit Amazon Kinesis
- DEMO Verwendung von Structured Streaming mit Amazon Kinesis
Zusätzliche Spark-Streaming-Integrationen
Lektion 14
- Spark Streaming mit MQTT
- Spark Streaming und Apache Flume
- Spark Streaming und Twitter
- Spark Streaming und Snowflake
- DEMO Strukturierte Streaming-Verarbeitung mit Snowflake
Für wen ist dieses Programm geeignet?
Dateningenieure, die mit Echtzeit-Datensystemen arbeiten
Big-Data-Fachleute und Spark-Entwickler
Softwareentwickler, die in Data-Engineering-Rollen wechseln
Datenwissenschaftler, die sich für Streaming-Analysen interessieren
Backend-Entwickler, die datenintensive Anwendungen erstellen
IT-Fachleute, die mit groß angelegten verteilten Systemen arbeiten
Voraussetzungen
- Grundlegende Programmierkenntnisse (vorzugsweise in Java, Scala oder Python)
- Vertrautheit mit Big-Data-Konzepten und verteilten Systemen
- Grundkenntnisse in Datenverarbeitung oder Analyse-Workflows
- Verständnis von Datenbanken und SQL (hilfreich, aber nicht zwingend erforderlich)
- Vorkenntnisse in Spark Streaming sind nicht erforderlich.
Erklärungen
Lizenzierung und Akkreditierung
Dieser Kurs wird gemäß der Partnerprogramm-Vereinbarung angeboten und entspricht den Anforderungen der Lizenzvereinbarung.
Gleichstellungspolitik
Kandidatinnen und Kandidaten werden ermutigt, sich während des gesamten Anpassungsprozesses für Beratung und Unterstützung an das AVC zu wenden.
Häufig gestellte Fragen
Benötigen Sie Unternehmenslösungen oder eine LMS-Integration?
Haben Sie nicht den Kurs oder das Programm gefunden, das für Ihr Unternehmen geeignet wäre? Benötigen Sie eine LMS-Integration? Schreiben Sie uns! Wir werden alles lösen!