Certified Data Scientist Specialized in Big Data Analytics

Diese Schulung schließt an die Angebote »Certified Data Scientist Basic Level« und »Certified Data Scientist Specialized in Data Analytics« an. Fachkräfte mit Programmiererfahrung und Grundkenntnissen in der Datenanalyse lernen Methoden und Tools zur Analyse von Big Data kennen. Nach der Schulung verstehen Sie, wie Analysealgorithmen für eine skalierbare Big-Data-Architektur implementiert werden und haben Beispiele für Batch- und Streaming-Verarbeitung kennengelernt. Sie lernen den Einsatz von Tools und Methoden zur Analyse von großen Datenmengen am Beispiel von Spark kennen, wobei insbesondere die Algorithmen aus Spark Machine Learning Library sowie Anbindung von Spark an Python (PySpark) vorgestellt und selbst eingeübt wird. Unter dem Thema »Deployment« wird besprochen, wie Modelle, die im Batch auf historischen Daten erstellt worden sind, auf neuen Daten schnell angewendet werden können. Des weiteren wird die Einbindung von Streaming-Systemen und Methoden der Datenanalyse unter Echtzeitanforderungen besprochen

Tag 1: Einbettung von Modellerstellung- und Anwendung in eine Big Data Architektur

• Einführung: Herausforderungen von Big Data für die Datenanalyse
• Beispiel: Aufbau eines Empfehlungssystems
• Data Understanding und Feature-Erzeugung für die Analyse großer Datenmengen 
• Modellentwicklung und -anwendung in Big-Data-Umgebungen
• Analyse von Datenströmen

Tag 2: Datenanalyse mit Spark

• Einführung von Spark und PySpark
• Lineare Regression mit Spark
• Die Spark Maschine Learning Library
• Übungen zur Datenanalyse mit Spark und Python
• Graphische Workflows zur Datenanalyse mit Spark
• Big Data Algorithmen: Locality Sensitive Hashing und Anwendungen

Tag 3: Fortgeschrittene Methoden, Werkzeuge und Deployment

• Fortgeschrittene Analysetechniken in Spark (Training-Test Dataset, Optimization, Cross-Validation, Grid-Search, Pipelines)
• Betrugserkennung mit Complex Event Processing (CEP)
• Deployment: Abspeichern, Laden von Modellen in PMML und Spark
• Einsatz von Spark Feature-Generation, Spark Pipelines und Spark Streaming
• Massiv Parallele Datenbanken

Tag 4: Praktische Anwendung fortgeschrittener Analysemethoden mit PySpark

• Data verstehen, aufbereiten
• Erzeugen von Features 
• Spark Machine Learning Library Pipelines
• Big Data Algorithmen 

Tag 5

• Schriftliche Prüfung

Im Kurs werden Social Media Inhalte mit Hilfe aktueller Analyseverfahren exemplarisch untersucht und die Ergebnisse in Hinblick auf die Anwendung aufbereitet und visualisiert. Es werden zum Teil Open Source Werkzeuge (Gensim, CRFsuite, scikit-learn, Gephi) aber auch proprietäre Analysemethoden eingesetzt.