Apache Airflow Einführung und Grundlagen

Dauer
Ausführung
Vor Ort, Online
Startdatum und Ort

Apache Airflow Einführung und Grundlagen

GFU Cyrus AG
Logo von GFU Cyrus AG
Bewertung: starstarstarstar_halfstar_border 7,2 Bildungsangebote von GFU Cyrus AG haben eine durchschnittliche Bewertung von 7,2 (aus 9 Bewertungen)

Tipp: Haben Sie Fragen? Für weitere Details einfach auf "Kostenlose Informationen" klicken.

Startdaten und Startorte

placeKöln
15. Aug 2024 bis 16. Aug 2024
computer Online: Zoom
15. Aug 2024 bis 16. Aug 2024
placeKöln
4. Nov 2024 bis 5. Nov 2024
computer Online: Zoom
4. Nov 2024 bis 5. Nov 2024

Beschreibung

Schulungen der Extraklasse ✔ Durchführungsgarantie ✔ Trainer aus der Praxis ✔ Kostenfreies Storno ✔ 3=2 Kostenfreie Teilnahme für den Dritten ✔ Persönliche Lernumgebung ✔ Kleine Lerngruppen

Seminarziel

Das Seminar vermittelt umfassende Kenntnisse in der Erstellung, Verwaltung und Optimierung von Directed Acyclic Graphs (DAGs) in Apache Airflow. Teilnehmende lernen, wie man effiziente und sichere Workflows entwickelt, DAGs testet und modularisiert, sowie fortgeschrittene Funktionen wie TaskFlow API und XComs nutzt. Es wird auch auf Airflow-Sicherheit, CI/CD-Integrationen und die Anwendung von Airflow in Kubernetes-Umgebungen eingegangen. Ziel ist es, die Teilnehmer zu befähigen, komplexe Datenverarbeitungs-Workflows effektiv zu managen und zu skalieren.

Inhalt

  • DAGs erstellen - Directed Acyclic Graph
    •  Geheimnisse, Verbindungen und Variablen
    •  Erstellen von Verbindungen beim Sta…

Gesamte Beschreibung lesen

Frequently asked questions

Es wurden noch keine FAQ hinterlegt. Falls Sie Fragen haben oder Unterstützung benötigen, kontaktieren Sie unseren Kundenservice. Wir helfen gerne weiter!

Schulungen der Extraklasse ✔ Durchführungsgarantie ✔ Trainer aus der Praxis ✔ Kostenfreies Storno ✔ 3=2 Kostenfreie Teilnahme für den Dritten ✔ Persönliche Lernumgebung ✔ Kleine Lerngruppen

Seminarziel

Das Seminar vermittelt umfassende Kenntnisse in der Erstellung, Verwaltung und Optimierung von Directed Acyclic Graphs (DAGs) in Apache Airflow. Teilnehmende lernen, wie man effiziente und sichere Workflows entwickelt, DAGs testet und modularisiert, sowie fortgeschrittene Funktionen wie TaskFlow API und XComs nutzt. Es wird auch auf Airflow-Sicherheit, CI/CD-Integrationen und die Anwendung von Airflow in Kubernetes-Umgebungen eingegangen. Ziel ist es, die Teilnehmer zu befähigen, komplexe Datenverarbeitungs-Workflows effektiv zu managen und zu skalieren.

Inhalt

  • DAGs erstellen - Directed Acyclic Graph
    •  Geheimnisse, Verbindungen und Variablen
    •  Erstellen von Verbindungen beim Starten
    •  Verwendung von Pools für langlaufende und anspruchsvolle Aufgaben
    •  Simulation lang laufender Tasks
    •  DAG-Serialisierung
    •  DAG-Versionierung
    •  Testen von DAGs
    •  CI/CD in Airflow
  • DAGs modularisieren
    •  TaskGroups gegenüber subDAGs
    •  TaskFlowAPI und XComs
    •  Modularisierung
    •  Dynamische und funktionale DAGs
    •  SmartSensors und Zeitüberschreitungen
  • Airflow-Sicherheit
    •  RBAC in Airflow
    •  Einrichten der OAuth-Authentifizierung
    •  Google OAuth hinzufügen
    •  Hinzufügen von SSL-Zertifikaten
    •  Standard-Rollen und benutzerdefinierte Rollen
    •  Erstellen einer benutzerdefinierten Rolle
  • Airflow in Kubernetes
    •  Das Helm-Diagramm
    •  Bereitstellung von Airflow mit Helm
    •  Bereitstellen einzelner Aufgaben in Kubernetes: KubernetesPodOperator
    •  Hinzufügen einer Aufgabe in Kubernetes
    •  Skalierung von Airflow mit Kubernetes-Executor
    •  Ändern der Helm-Diagrammwerte
    •  KEDA-Autoscaler
    •  Vorbereiten von DAGs für Kubernetes
    •  Vollständige Erstellung einer DAG in Kubernetes

Anmerkung: Kubeflow ist sicherlich das modernere Workflow System mit besserer Integration in Kubernetes und Google Cloud. Anwender von Kubeflow berichten allerdings von Differenzen zwischen Beschreibung und Wirklichkeit, siehe:
datarevenue.com/de-blog/kubeflow-noch-nicht-bereit-fur-produktion

Werden Sie über neue Bewertungen benachrichtigt

Es wurden noch keine Bewertungen geschrieben.

Schreiben Sie eine Bewertung

Haben Sie Erfahrung mit diesem Kurs? Schreiben Sie jetzt eine Bewertung und helfen Sie Anderen dabei die richtige Weiterbildung zu wählen. Als Dankeschön spenden wir € 1,00 an Stiftung Edukans.

Es wurden noch keine FAQ hinterlegt. Falls Sie Fragen haben oder Unterstützung benötigen, kontaktieren Sie unseren Kundenservice. Wir helfen gerne weiter!

Bitte füllen Sie das Formular so vollständig wie möglich aus

(optional)
(optional)
(optional)
(optional)
(optional)
(optional)
(optional)

Haben Sie noch Fragen?

(optional)

Anmeldung für Newsletter

Damit Ihnen per E-Mail oder Telefon weitergeholfen werden kann, speichern wir Ihre Daten.
Mehr Informationen dazu finden Sie in unseren Datenschutzbestimmungen.