Big Data Hadoop und Spark Entwickler - eLearning und/oder Online-Klassenzimmer

Big Data Hadoop und Spark Developer

E-Learning und/oder Online-Klassenzimmer - Sie haben die Wahl!

Lernen Sie, wie man Big Data analysiert

Die Welt wird immer digitaler und die Bedeutung von Big Data und Datenanalyse wird in den kommenden Jahren noch zunehmen. Eine Karriere im Bereich Big Data und Analytik ist vielleicht genau das, was Sie suchen, um Ihre Karriereerwartungen zu erfüllen.

Die Big Data Hadoop-Schulung vermittelt Ihnen die Konzepte des Hadoop-Frameworks, seine Bildung in einer Cluster-Umgebung und bereitet Sie auf die CCA175 Big Data-Zertifizierung von Cloudera vor, die in diesem Kurs nicht enthalten ist.

Was ist alles enthalten?

• 12 Monate Online-Zugang zu Big Data Hadoop und E-Learning für Entwickler
• Fünf praktische Projekte zur Perfektionierung der erlernten Fähigkeiten
• Zwei Simulationstests zur Selbstbeurteilung
• 16 Lektionen
• 74 Stunden Blended Learning
• 22 Stunden E-Learning
• 52 Stunden Online-Schulung unter der Leitung eines erfahrenen Trainers
• Vier branchenbezogene Abschlussprüfungsprojekte
• Interaktives Lernen mit integrierten Übungen
• Lehrplan abgestimmt auf die Zertifizierungsprüfung Cloudera CCA175
• Schulungen zu wichtigen Big-Data- und Hadoop-Ökosystem-Tools sowie Apache Spark
• Engagierte Mentoring-Sitzungen durch eine Fakultät von Branchenexperten
• Kostenloser Kurs enthalten - Apache Kafka
• Kostenloser Kurs inbegriffen - Core Java

Über den Kurs

In diesem Big-Data-Hadoop-Kurs lernen Sie das Big-Data-Framework mit Hadoop und Spark, einschließlich HDFS, YARN und MapReduce. Der Kurs behandelt auch Pig, Hive und Impala für die Verarbeitung und Analyse von großen Datensätzen, die im HDFS gespeichert sind, sowie die Verwendung von Sqoop und Flume für die Datenaufnahme.

Sie erhalten einen Einblick in die Echtzeit-Datenverarbeitung mit Spark, einschließlich der funktionalen Programmierung in Spark, der Implementierung von Spark-Anwendungen, dem Verständnis der parallelen Verarbeitung in Spark und der Verwendung von Spark-RDD-Optimierungstechniken. Sie lernen auch die verschiedenen interaktiven Algorithmen in Spark kennen und verwenden Spark SQL, um Datenformen zu erstellen, zu transformieren und abzufragen.

Schließlich müssen Sie reale, branchenspezifische Projekte mit CloudLab in den Bereichen Banken, Telekommunikation, soziale Medien, Versicherungen und E-Commerce durchführen.

Für diesen Kurs gibt es keine Voraussetzungen. Es ist jedoch hilfreich, einige Kenntnisse in Core Java und SQL zu haben. Wir bieten einen kostenlosen Online-Kurs "Java essentials for Hadoop" an, den Sie in Ihrem eigenen Tempo besuchen können, wenn Sie Ihre Core-Java-Kenntnisse auffrischen möchten.

Lernziele

Am Ende des Kurses werden Sie verstehen:

• Die verschiedenen Komponenten des Hadoop-Ökosystems, wie Hadoop 2.7, Yarn, MapReduce, Pig, Hive, Impala, HBase, Sqoop, Flume und Apache Spark
• Hadoop Distributed File System (HDFS) und YARN-Architektur
• MapReduce und seine Funktionen sowie die Aneignung fortgeschrittener MapReduce-Konzepte
• Verschiedene Arten von Dateiformaten, Avro-Schema, Avro mit Hive und Sqoop und Schemaentwicklung
• Gutter, Gutterarchitektur, Quellen, Gutterbrunnen, Kanäle und Gutterkonfigurationen
  HBase, seine Architektur und Datenspeicherung, und lernen Sie den Unterschied zwischen HBase und RDBMS kennen
• Resilient Distribution Datasets (RDD) im Detail
• Allgemeine Anwendungsfälle von Spark und verschiedene interaktive Algorithmen

Sie können auch:

• Daten mit Sqoop und Flume einbinden
• Eine Datenbank und Tabellen in Hive und Impala erstellen, HBase verstehen und Hive und Impala zur Partitionierung verwenden
• Praktische Kenntnisse über Pig und seine Komponenten erlangen
• Programmieren Sie funktional in Spark und erstellen und implementieren Sie Spark-Anwendungen
• Vertieftes Verständnis der parallelen Verarbeitung in Spark und Spark RDD-Optimierungstechniken
• Erstellen, Transformieren und Abfragen von Datenrahmen mit Spark SQL

Die behandelten Themen

Der Kurs deckt die folgenden Themen ab:

Kurseinführung

• Lektion 1 - Einführung in Big Data und das Hadoop-Ökosystem
• Lektion 2 - HDFS und YARN
• Lektion 3 - MapReduce und Sqoop
• Lektion 4 - Grundlagen von Hive und Impala
• Lektion 5 - Arbeiten mit Hive und Impala
• Lektion 6 - Arten von Datenformaten
• Lektion 7 - Fortgeschrittenes Hive-Konzept und Partitionierung von Datendateien
• Lektion 8 - Apache Flume und HBase
• Lektion 9 - PIG
• Lektion 10 - Grundlagen von Apache Spark
• Lektion 11 - RDDs in Spark
• Lektion 12 - Implementieren von Spark-Anwendungen
• Lektion 13 - Spark-Parallelverarbeitung
• Lektion 14 - Spark RDD-Optimierungstechniken
• Lektion 15 - Spark-Algorithmus
• Lektion 16 - Spark SQL
• KOSTENLOSER KURS - Apache Kafka
• KOSTENLOSER KURS - Core Java

Vier industriebasierte Abschlussprüfungsprojekte

Der Kurs umfasst auch fünf reale, branchenbezogene Projekte. Die erfolgreiche Bewertung eines der ersten beiden Projekte unten ist Teil der Zulassungskriterien für die Zertifizierung. Wir haben außerdem drei weitere Projekte zum Üben hinzugefügt, um Ihnen den Einstieg in Hadoop und Spark zu erleichtern.

Projekt 1

Bereich: Bankwesen - ein portugiesisches Bankinstitut führte eine Marketingkampagne durch, um potenzielle Kunden davon zu überzeugen, in ein Festgeld zu investieren. Die Marketingkampagnen wurden durch Telefonanrufe durchgeführt und einige Kunden wurden mehr als einmal kontaktiert. Ihre Aufgabe ist es, die während der Marketingkampagne gesammelten Daten zu analysieren.

Projekt 2

Bereich: Telekommunikation - ein Mobiltelefonanbieter hat eine neue Kampagne für ein offenes Netz gestartet. Das Unternehmen hat die Nutzer aufgefordert, Beschwerden über Sendemasten in ihrem Gebiet einzureichen, wenn sie Probleme mit ihrem Mobilfunknetz haben. Das Unternehmen sammelte den Datensatz von Nutzern, die Beschwerden einreichten. Das vierte und fünfte Feld des Datensatzes enthält Längen- und Breitengrad der Nutzer, was für das Unternehmen eine wichtige Information ist. Sie müssen diese Längen- und Breitengraddaten aus dem verfügbaren Datensatz finden und mit Hilfe eines k-means-Algorithmus drei Nutzercluster erstellen.

Projekt 3

Bereich: Soziale Medien - als Teil einer Einstellungsübung bat ein großes Unternehmen für soziale Medien die Kandidaten, einen Datensatz von Stack Exchange zu analysieren. Sie werden den Datensatz verwenden, um zu bestimmten Schlüsselerkenntnissen zu gelangen.

Projekt 4

Bereich: Website mit filmbezogenen Informationen - IMDB ist eine Online-Datenbank mit filmbezogenen Informationen. IMDB-Benutzer bewerten Filme auf einer Skala von 1 bis 5 - wobei 1 die schlechteste und 5 die beste ist - und geben Bewertungen ab. Der Datensatz enthält auch zusätzliche Informationen, wie z. B. das Jahr der Veröffentlichung des Films. Ihre Aufgabe ist es, die gesammelten Daten zu analysieren.

Projekt 5

Bereich: Versicherungen - eine US-amerikanische Versicherungsgesellschaft hat beschlossen, ein neues Krankenversicherungsprogramm einzuführen, das sich an verschiedene Kunden richtet. Um einem Kunden zu helfen, den Markt besser zu verstehen, müssen Sie eine Reihe von Datenanalysen mit Hadoop durchführen.

Ziel

Die Karrieremöglichkeiten im Bereich Big Data nehmen zu, und Hadoop wird schnell zu einer Technologie, die man in der Big-Data-Architektur kennen muss. Die Big-Data-Schulung eignet sich für Fachleute aus den Bereichen IT, Datenmanagement und Analytik, darunter:

• Softwareentwickler und -architekten
• Analytik-Fachleute
• Leitende IT-Fachleute
• Test- und Mainframe-Fachleute
• Fachleute für Datenmanagement
• Fachleute für Business Intelligence
• Projektleiter
• Angehende Datenwissenschaftler
• Hochschulabsolventen
• Die eine Karriere in der Big-Data-Analytik anstreben

Prüfung/Zertifikat

Um ein Kursabschlusszertifikat zu erhalten, müssen Sie 85% des Kurses, ein Projekt und einen Simulationstest mit einer Mindestpunktzahl von 80% abschließen.

Ausrichtung der Zertifizierung:
Unser Lehrplan ist auf die Zertifizierungsprüfung Cloudera CCA175 abgestimmt.

Umfassender Programmüberblick:

Lektion 01 - Einführung in Big Data und Hadoop

• Einführung in Big Data und Hadoop
• Einführung in Big Data
• Big-Data-Analyse
• Was ist Big Data?
• Vier Aspekte von Big Data
• Fallbeispiel Royal Bank of Scotland
• Herausforderungen bei traditionellen Systemen
• Verteilte Systeme
• Einführung in Hadoop
• Komponenten des Hadoop-Ökosystems, erster Teil
• Komponenten des Hadoop-Ökosystems Teil Zwei
• Bestandteile des Hadoop-Ökosystems Dritter Teil
• Kommerzielle Hadoop-Distributionen
• Demo: Durchlauf von Simplilearn Cloudlab
• Wichtige Ergebnisse
• Wissens-Check

Lektion 02 - Hadoop-Architektur Verteilter Speicher (HDFS) und YARN

• Hadoop-Architektur Verteilter Speicher (HDFS) und YARN
• Was ist HDFS?
• Notwendigkeit für HDFS
• Gewöhnliches Dateisystem vs. HDFS
• Merkmale von HDFS
• HDFS-Architektur und -Komponenten
• Hochverfügbarkeits-Cluster-Implementierungen
• HDFS-Komponente Dateisystem Namespace
• Aufteilung von Datenblöcken
• Topologie Datenreplikation
• HDFS Kommandozeile
• Demo: Allgemeine HDFS-Befehle
• Praktisches Projekt: HDFS-Befehlszeile
• Einführung in Yarn
• Verwendung von Yarn
• Yarn und seine Architektur
• Ressourcen-Manager
• Wie Resource Manager funktioniert
• Anwendungs-Master
• Wie Yarn eine Anwendung ausführt
• Werkzeuge für Yarn-Entwickler
• Demo: Durchlauf von Cluster Teil Eins
• Demo: Durchgang durch Cluster Teil Zwei
• Wichtige Punkte zum Mitnehmen
• Wissens-Check
• Praxisprojekt: Hadoop-Architektur, verteilte Speicherung (HDFS) und Yarn

Lektion 03 - Datenintegration in Big-Data-Systemen und ETL

• Datenintegration in Big-Data-Systemen und ETL
• Überblick über die Datenintegration Teil eins
• Überblick über die Datenintegration, Teil zwei
• Apache Sqoop
• Sqoop und seine Anwendungen
• Sqoop-Verarbeitung
• Sqoop-Importverfahren
• Sqoop-Verbindungen
• Demo: Importieren und Exportieren von Daten von MySQL nach HDFS
• Praktisches Projekt: Apache Sqoop
• Apache Flume
• Flume-Modell
• Skalierbarkeit in Flume
• Komponenten in der Architektur von Flume
• Konfigurieren von Flume-Komponenten
• Demo: Eingabe von Twitter-Daten
• Apache Kafka
• Aggregieren von Benutzeraktivitäten mit Kafka
• Kafka-Datenmodell
• Partitionen
• Architektur von Apache Kafka
• Demo: Einrichten eines Kafka-Clusters
• Erzeugerseitiges API-Beispiel
• Verbraucherseitige API
• Beispiel für die API auf der Verbraucherseite
• Kafka verbinden
• Demo: Erstellen einer beispielhaften Kafka-Datenpipeline mit Producer und Consumer
• Wichtige Punkte
• Wissens-Check
• Praxisprojekt: Dateneingabe in Big-Data-Systeme und ETL

Lektion 04 - Verteilte Verarbeitung MapReduce Framework und Pig

• Verteilte Verarbeitung in Mapreduce und Pig
• Verteilte Verarbeitung in Mapreduce
• Beispiel für Wortzählung
• Phasen der Map-Ausführung
• Verteilte Map-Ausführung mit zwei Knoten
• Mapreduce-Jobs
• Zusammenspiel von Hadoop Mapreduce-Jobs
• Einrichten der Umgebung für die Mapreduce-Entwicklung
• Sammlung von Klassen
• Erstellen eines neuen Projekts
• Fortgeschrittenes Mapreduce
• Datentypen in Hadoop
• Ausgabeformate in Mapreduce
• Verwendung des verteilten Cache
• Verknüpfungen in Mapreduce
• Replizierte Verknüpfung
• Einführung in Pig
• Komponenten von Pig
• Pig-Datenmodell
• Interaktive Modi von Pig
• Pig-Operationen
• Verschiedene Beziehungen, die von Entwicklern durchgeführt werden
• Demo: Analyse von Weblog-Daten mit Mapreduce
• Demo: Analyse von Verkaufsdaten und Lösung von Kpis mit Pig
• Praktisches Projekt: Apache Pig
• Demo: Wortzählung
• Wichtigste Ergebnisse
• Wissens-Check
• Praxisprojekt: Verteilte Verarbeitung - Mapreduce Framework und Pig

Lektion 05 - Apache Hive

• Apache Hive
• Hive SQL über Hadoop Mapreduce
• Hive-Architektur
• Schnittstellen zur Ausführung von Hive-Abfragen
• Ausführen von Hive über die Befehlszeile
• Hive-Metaspeicher
• Hive DDL und DML
• Erstellen einer neuen Tabelle
• Datentypen
• Validierung von Daten
• Dateiformat-Typen
• Serialisierung von Daten
• Hive-Tabelle und Avro-Schema
• Hive-Optimierung Partitionierung Bucketing und Sampling
• Nicht-partitionierte Tabelle
• Einfügen von Daten
• Dynamische Partitionierung in Hive
• Bucketing
• Was bewirken Buckets?
• Hive Analytics UDF und UDAF
• Andere Funktionen von Hive
• Demo: Echtzeit-Analysen und Datenfilterung
• Demo: Problem aus der realen Welt
• Demo: Datendarstellung und -import mit Hive
• Wichtige Ergebnisse
• Wissens-Check
• Praktisches Projekt: Apache Hive

Lektion 06 - NoSQL-Datenbanken HBase

• NoSQL-Datenbanken HBase
• NoSQL-Einführung
• Demo: Yarn-Abstimmung
• Hbase Überblick
• Hbase-Architektur
• Datenmodell
• Verbinden mit HBase
• Praktisches Projekt: HBase Shell
• Wichtige Links
• Wissens-Check
• Praxisprojekt: NoSQL-Datenbanken - HBase

Lektion 07 - Grundlagen der funktionalen Programmierung und Scala

• Grundlagen der funktionalen Programmierung und Scala
• Einführung in Scala
• Demo: Installation von Scala
• Funktionale Programmierung
• Programmieren mit Scala
• Demo: Grundlegende Buchstaben und arithmetische Programmierung
• Demo: Logische Operatoren
• Typinferenz-Klassen Objekte und Funktionen in Scala
• Demo: Funktionen zur Typinferenz Anonyme Funktion und Klasse
• Sammlungen
• Typen von Sammlungen
• Demo: Fünf Arten von Sammlungen
• Vorführung: Operationen auf Listen
• Scala REPL
• Demo: Eigenschaften von Scala REPL
• Wichtige Punkte zum Mitnehmen
• Wissensüberprüfung
• Praktisches Projekt: Apache Hive

Lektion 08 - Apache Spark Big-Data-Framework der nächsten Generation

• Apache Spark Big-Data-Framework der nächsten Generation
• Geschichte von Spark
• Beschränkungen von Mapreduce in Hadoop
• Einführung in Apache Spark
• Komponenten von Spark
• Anwendung der In-Memory-Verarbeitung
• Hadoop-Ökosystem vs. Spark
• Vorteile von Spark
• Architektur von Spark
• Spark-Cluster in der realen Welt
• Demo: Ausführen von Scala-Programmen in Spark Shell
• Demo: Einrichten der Ausführungsumgebung in der IDE
• Demo: Spark Web UI
• Wichtige Punkte zum Mitnehmen
• Wissens-Check
• Praxisprojekt: Apache Spark Big Data Framework der nächsten Generation

Lektion 09 - Spark-Kernverarbeitung RDD

• Einführung in Spark RDD
• RDD in Spark
• Erstellen von Spark RDD
• RDD-Verknüpfung
• RDD-Operationen
• Demo: Spark-Transformation Ausführliche Untersuchung anhand von Scala-Beispielen
• Demo: Spark-Aktion Detaillierte Erkundung mit Scala
• Caching und Persistenz
• Speicher-Ebenen
• Abstammung und DAG
• Notwendigkeit von DAG
• Fehlersuche in Spark
• Partitionierung in Spark
• Zeitplanung in Spark
• Shuffling in Spark
• Shuffle sortieren
• Zusammenführen von Daten mit verknüpften RDD
• Demo: Spark-Anwendung mit in HDFS zurückgeschriebenen Daten und Spark UI
• Demo: Ändern von Spark-Anwendungsparametern
• Demo: Umgang mit verschiedenen Dateiformaten
• Demo: Spark RDD mit echter Anwendung
• Demo: Optimieren von Spark-Jobs
• Wichtige Ergebnisse
• Wissens-Check
• Praxisprojekt: Spark Core Verarbeitung von RDD

Lektion 10 - Spark SQL-Verarbeitung von DataFrames

• Spark-SQL-Verarbeitung von DataFrames
• Spark SQL-Einführung
• Spark-SQL-Architektur
• Daten-Frames
• Demo: Umgang mit verschiedenen Datenformaten
• Demo: Ausführen verschiedener Dataframe-Operationen
• Beispiel: UDF und UDAF
• Kollaboration mit RDDs
• Demo: Verarbeitung von Datenrahmen mit SQL-Abfrage
• RDD vs. Datenrahmen vs. Dataset
• Feldprojekt: Verarbeitung von Dataframes
• Wichtige Links
• Wissens-Check
• Praxisprojekt: Spark SQL - Verarbeitung von Datenrahmen

Lektion 11 - Spark MLib Modellierung von BigData mit Spark

• Spark Mlib Modellierung von BigData mit Spark
• Die Rolle des Datenwissenschaftlers und des Datenanalysten bei Big Data
• Analytik in Spark
• Maschinelles Lernen
• Überwachendes Lernen
• Demo: Klassifizierung von linearen SVM
• Demo: Lineare Regression mit praktischen Beispielen
• Überwachtes Lernen
• Demo: Unüberwachtes Clustering K-means
• Verstärkendes Lernen
• Semi-überwachtes Lernen
• Überblick über Mlib
• Mlib-Pipelines
• Wichtigste Ergebnisse
• Wissenskontrolle
• Praxisprojekt: Spark Mlib - Modellierung großer Daten mit Spark

Lektion 12 - Stream Processing Frameworks und Spark Streaming

• Streaming Überblick
• Echtzeitverarbeitung von Big Data
• Architekturen für die Datenverarbeitung
• Demo: Echtzeit-Datenverarbeitung
• Spark-Streaming
• Demo: Schreiben einer Spark-Streaming-Anwendung
• Einführung in DStreams
• Transformationen auf DStreams
• Entwurfsmuster für die Verwendung von DStreams
• Zustandsoperationen
• Windowing-Operationen
• Join-Operationen Stream-Datensatz Join
• Demo: Fensterung von Echtzeit-Datenverarbeitung
• Streaming-Ressourcen
• Demo: Verarbeitung von Twitter-Streaming-Daten
• Strukturiertes Spark-Streaming
• Anwendungsfall Banktransaktionen
• Strukturiertes Streaming-Architekturmodell und seine Komponenten
• Output-Eingänge
• Strukturierte Streaming-APIs
• Konstruktion von Spalten im strukturierten Streaming
• Gefensterte Operationen zur Ereigniszeit
• Anwendungsfälle
• Demo: Streaming-Pipeline
• Fallstudie: Spark Streaming
• Wichtige Links
• Wissens-Check
• Praxisprojekt: Stream Processing Frameworks und Spark Streaming

Lektion 13 - Spark GraphX

• Spark GraphX
• Einführung in Graph
• GraphX in Spark
• GraphX-Operatoren
• Join-Operatoren
• Paralleles System GraphX
• Algorithmen in Spark
• Pregel-API
• GraphX verwenden
• Demo: GraphX Vertex-Prädikat
• Demo: Page Rank-Algorithmus
• Wichtige Ergebnisse
• Wissensüberprüfung
• Praxisprojekt: Spark GraphX
• Hilfe zum Projekt

Auf unserer Website (addingvalue.co.uk) finden Sie unser gesamtes Schulungsangebot, wie z. B.: AgilePM; AgilePM; Agile Scrum; AgileSHIFT; AWS; Better Business Cases (BBC); Change Management; CISM, CISSP; COBIT, DevOps; ITIL4; IT4IT; IPMA; ISO/IEC 27001; LeanIT; Management of Portfolios (MoP); Management of Risk (M_o_R); Management of Value (MoV); MSP; Paxis; PMI-ACP; PMI-RMP; PRINCE2; P3O; SAFe; Lean Six Sigma; Software Testing ISTQB; TOGAF; VeriSM und viele mehr!

Wir hoffen, dass wir auch Sie zertifizieren können!