Apache Spark und Scala Kurs – Präsenzunterricht
1.995,00 EUR
- 24 hours
Entfesseln Sie das volle Potenzial von Big Data, indem Sie Apache Spark mit Scala meistern – eine der leistungsstärksten Kombinationen im modernen Data Engineering. Dieser praxisorientierte Kurs hilft Ihnen dabei, riesige Datenmengen mit den Hochgeschwindigkeits- und In-Memory-Computing-Funktionen von Spark zu verarbeiten, zu analysieren und wertvolle Erkenntnisse daraus zu gewinnen. Sie lernen, wie Sie skalierbare Datenpipelines aufbauen, Echtzeit-Analysen durchführen und Machine-Learning-Modelle implementieren – und gleichzeitig solide Programmierkenntnisse in Scala entwickeln.
Hauptfunktionen
Sprache
Kursmaterial auf Englisch
Stufe
Anfänger- bis Mittelstufenniveau
24 Stunden praxisorientierte Schulung mit Live-Dozent
Über 50 Stunden empfohlene Lernzeit
3 praxisnahe Projekte für die praktische Anwendung
Über 70 Stunden Quizfragen, Aufgaben und Übungsmaterial
Praxislabore mit realen Datensätzen
Abdeckung von Spark-Ökosystem-Tools wie Spark SQL, MLlib und Streaming
Praxisnahe Erfahrung mit der Programmierung in Scala
Fachkundige Betreuung und Anleitung während des gesamten Kurses
Bitte um Terminbestätigung!
Zertifikat über den Abschluss des Programms inbegriffen
Lernergebnisse
Am Ende dieses Programms werden Sie in der Lage sein:
Grundlagen von Big Data
Entwickeln Sie ein fundiertes Verständnis von Big-Data-Konzepten, zentralen Komponenten und Frameworks, einschließlich der Hadoop-Architektur und ihrer Betriebsmodi.
Einführung in Scala
Lerne die Grundlagen der Scala-Programmierung kennen, einschließlich der zentralen Syntax und Konzepte, die für die Arbeit mit Apache Spark erforderlich sind.
Einführung in Spark
Verstehen Sie die grundlegenden Prinzipien von Apache Spark und lernen Sie, wie Sie Spark-Anwendungen erstellen und ausführen.
Spark-Framework & Bereitstellung
Erkunde das Spark-Framework im Detail, einschließlich seiner Architektur und verschiedener Bereitstellungsansätze.
Spark-Datenstrukturen
Arbeiten Sie mit den internen Datenstrukturen von Spark wie RDDs und verwenden Sie APIs und Scala-Funktionen, um Daten zu erstellen und zu transformieren.
Spark-Ökosystem
Sammeln Sie praktische Erfahrungen mit den wichtigsten Komponenten des Spark-Ökosystems, darunter Spark SQL, Streaming, MLlib, GraphX und mehr.
Kurszeitplan
Einführung in Big Data, Hadoop und Spark
Lektion 1
- Big-Data-Konzepte und Praxisanwendungen
- Hadoop-Ökosystem und HDFS
- Clusterarchitektur und YARN
- Batch- vs. Echtzeitverarbeitung
- Einführung in Spark und seine Vorteile
Einführung in Scala
Lektion 2
- Scala-Grundlagen und REPL
- Variablen, Kontrollstrukturen und Funktionen
- Kollektionen (Array, Map, Listen, Tupel)
- Scala in Big-Data-Ökosystemen
Objektorientierte und funktionale Programmierung in Scala
Lektion 3
- Klassen, Objekte und Pakete
- Eigenschaften und Vererbung
- Konzepte der funktionalen Programmierung
- Funktionen höherer Ordnung und Fehlerbehandlung
Scala-Sammlungs-APIs
Lektion 4
- Sammlungstypen und Hierarchien
- Leistungsmerkmale
- Java-Interoperabilität
- Verwendung von Scala-Implicits
Einführung in Spark und RDDs
Lektion 5
- Spark-Architektur und Einrichtung
- Spark-Anwendungen und Spark-Shell
- RDD (Resilient Distributed Datasets)
- Datenumwandlungen und Aktionen
- Caching und Persistenz
- Daten laden und speichern
Spark SQL & Datenverarbeitung
Lektion 6
- Spark SQL-Architektur
- DataFrames und Datasets
- Arbeiten mit JSON und Parquet
- Benutzerdefinierte Funktionen (UDFs)
- Integration mit Hive
Maschinelles Lernen mit Spark MLlib
Lektion 7
- Einführung in Konzepte des maschinellen Lernens
- MLlib-Funktionen und -Werkzeuge
- Überwachte und unüberwachte Algorithmen
- Lineare Regression, Entscheidungsbäume, Random Forests
- Clustering-Techniken
Streaming mit Kafka und Flume
Lektion 8
- Konzepte der Echtzeitdatenverarbeitung
- Kafka-Architektur und Cluster-Einrichtung
- Datenaufnahme- und Streaming-Pipelines
Für wen ist dieses Programm geeignet?
Voraussetzungen
- Grundlegendes Verständnis von SQL und Datenbanken
- Vertrautheit mit Programmierung (Python, Java oder Scala empfohlen)
- Grundkenntnisse in Linux/Unix (hilfreich, aber nicht zwingend erforderlich)
- Kenntnisse in Hadoop-Konzepten sind von Vorteil, aber nicht erforderlich
Data Scientists und Data Engineers
Datenanalysten und BI-Fachleute
Softwareentwickler und -architekten
Forschungsfachleute, die mit Daten arbeiten
Aussagen
Lizenzierung und Akkreditierung
Der Kurs wird gemäß der Partnerprogramm-Vereinbarung angeboten und entspricht den Anforderungen der Lizenzvereinbarung.
Gleichstellungspolitik
Kandidatinnen und Kandidaten werden ermutigt, sich während des gesamten Anpassungsprozesses für Beratung und Unterstützung an das AVC zu wenden.
Häufig gestellte Frage
Benötigen Sie Unternehmenslösungen oder eine LMS-Integration?
Haben Sie nicht den Kurs oder das Programm gefunden, das für Ihr Unternehmen geeignet wäre? Benötigen Sie eine LMS-Integration? Schreiben Sie uns! Wir werden alles lösen!