Optimizing Apache Spark Applications

Dieser praxisorientierte Schulungskurs vermittelt die wichtigsten Konzepte und das Fachwissen, das Entwickler benötigen, um die Leistung ihrer Apache Spark-Anwendungen zu optimieren. Während des Kurses lernen Sie, wie Sie häufige Ursachen für schlechte Leistung in Spark-Anwendungen identifizieren, Techniken zu deren Vermeidung oder Lösung sowie Best Practices für die Überwachung von Spark-Anwendungen.

Der Kurs stellt die Architektur und die Konzepte hinter Apache Spark und der zugrunde liegenden Datenplattform vor und baut dann auf diesem grundlegenden Verständnis auf, indem Ihnen beigebracht wird, wie sie Spark-Anwendungscode optimieren. Das Kursformat konzentriert sich auf von einem Trainer geleitete Demonstrationen, die sowohl Leistungsprobleme als auch die Techniken veranschaulichen, die diese beheben, gefolgt von praktischen Übungen, die Ihnen die Möglichkeit geben, das Gelernte in einer interaktiven Notebook-Umgebung zu üben.

Wenn Sie diesen Kurs erfolgreich abgeschlossen haben, werden Sie zu folgendem in der Lage sein:

• Verstehen der Architektur und die Auftragsausführung von Apache Spark und wie Techniken wie Lazy Execution und Pipelining die Laufzeitleistung verbessern können
• Bewerten der Leistungsmerkmale von Kerndatenstrukturen wie RDD und DataFrames
• Auswählen der Dateiformate, die die beste Leistung für Ihre Anwendung bieten
• Identifizieren und Beheben von Performance-Problemen, die durch Datenverzerrung verursacht werden
• Verwenden von Partitionierungs-, Bucketing- und Join-Optimierungen, um die SparkSQL-Leistung zu verbessern
• Verstehen des Leistungsaufwands von Python-basierten RDDs, DataFrames und benutzerdefinierten Funktionen
• Nutzen von Vorteilen des Cachings für eine bessere Anwendungsleistung
• Verstehen, wie die Catalyst- und Tungsten-Optimierer funktionieren
• Erfahren, wie Workload XM bei der Fehlerbehebung und proaktiven Überwachung der Leistung von Spark-Anwendungen helfen kann
• Erfahren, wie die Engine für die adaptive Abfrageausführung die Leistung verbessert

• Spark Architecture
• Data Sources and Formats
• Inferring Schemas
• Dealing With Skewed Data
• Catalyst and Tungsten Overview
• Mitigating Spark Shuffles
• Partitioned and Bucketed Tables
• Improving Join Performance
• Pyspark Overhead and UDFs
• Caching Data for Reuse
• Workload XM (WXM) Introduction
• What's New in Spark 3.0?

Dieser Kurs richtet sich an Softwareentwickler, Ingenieure und Datenwissenschaftler, die Erfahrung mit der Entwicklung von Spark-Anwendungen haben und lernen möchten, wie sie die Leistung ihres Codes verbessern können. Dies ist keine Einführung in Spark.

Spark-Beispiele und praktische Übungen werden in Python präsentiert und die Fähigkeit, in dieser Sprache zu programmieren, ist erforderlich. Grundlegende Vertrautheit mit der Linux-Befehlszeile wird vorausgesetzt. Grundlegende Kenntnisse von SQL sind hilfreich.

Hierzu empfehlen wir Ihnen auch unsere Trainings im Bereich Programmiersprachen und Softwareentwicklung sowie Linux.

In diesem Kurs lernen Sie, wie Sie die Leistung von Apache Spark-Anwendungen durch effektives Tuning und Optimierung steigern können. Sie erwerben Fähigkeiten zur Identifizierung und Behebung von Performance-Engpässen sowie zur effizienten Ressourcennutzung.