Data Engineering – Angewandte Datenanalyse

Eine der zentralen Herausforderungen im Kontext von „Big Data“ ist die Aufbereitung vorhandener Daten. Zwar stehen vielen Unternehmen Software-Tools zur Datenanalyse zur Verfügung, diese können jedoch nur nutzenbringend eingesetzt werden, wenn die Datenbasis eine ausreichende Qualität hat. In den meisten Fällen sind erhobene Daten jedoch unvollständig. Dies führt dazu, dass die Ergebnisse klassischer Datenanalyseverfahren eine geringe Aussagekraft haben.

Dieses Modul stellt weiterführende Methoden, Strategien und Technologien des Data Engineering dar, die speziell zur Erkennung und zum Ausnutzen von Mustern in großen Datenbeständen verwendet werden können. Um praxisnah vorzugehen, wird die Anwendung der beschriebenen Techniken in der Programmiersprache Python dargestellt.

Ihr Nutzen

Nach der Teilnahme an dem Modul sind Sie in der Lage,

• Auffälligkeiten in Daten zu bereinigen und/oder auszunutzen
• Grundlagen der Python-Programmierung anzuwenden
• systematisch Ansatzpunkte für die Verbesserung des unternehmensinternen Informationsmanagements aufzudecken
• einfache Bereinigungslogiken zu entwickeln
• Bedarfe in der Datenbeschaffung und -bereinigung dem jeweils zuständigen „Data Owner“ gezielt und verständlich darzustellen
• die Basis für unternehmenseigene Datenanalyse-Applikationen zu implementieren.

Inhalte

• Datentypen und -speicherkonzepte in Python
• Datenqualität: Vollständigkeit, Frequenz, Plausibilität
• Grundlagen der Python-Programmierung: Schleifen und if-Bedingungen, Numpy, Pandas, Sklearn
• Grundlagen der visuellen Datenanalyse mit Matplotlib
• Ein- und mehrdimensionale numerische Ausreißer-Analyse (mit Python): IQR vs. Z-Score
• Verteilungsanalyse und Mechanismen der Ausreißer-Erkennung mittels Klassifikatoren (mehrdimensionale Verteilungsanalyse)
• Algorithmen zur Mustererkennung (mit Python): Raum-Distanz-Maße (Support Vector Machine), Häufigkeitsbasierte Modelle (Bayes), Entscheidungsbäume

Zielgruppe

Fach- und Führungskräfte sämtlicher Branchen, die sich mit der Strukturierung und Harmonisierung von unterschiedlichsten Datenquellen beschäftigen, um durch das Heben bislang unerschlossener Informationen einen wirtschaftlichen Mehrwert zu erzielen.