Schulungsübersicht

Überprüfung von Apache Airflow Grundlagen

  • Kernkonzepte: DAGs, Aufgaben und Operatoren
  • Airflow-Architektur und -Komponenten
  • Rekapitulation gängiger Anwendungsfälle und Workflows

Optimierung der Workflow-Leistung

  • Identifizierung von Engpässen in Airflow-Pipelines
  • Optimierungstechniken auf Aufgabenebene
  • Nutzung von Aufgabenwiederholungen, Parallelität und Gleichzeitigkeit

Komplexe Abhängigkeiten verwalten

  • Definition von dynamischen Abhängigkeiten in Workflows
  • Umgang mit bedingten und verzweigten Workflows
  • Effektiver Einsatz von Aufgabengruppen und Sub-DAGs

Erweiterte Funktionen in Apache Airflow

  • Benutzerdefinierte Operatoren und Hooks erstellen
  • Implementieren von Sensoren für externe Auslöser
  • Integration von Diensten und Plugins von Drittanbietern

Skalierung von Apache Airflow-Einsätzen

  • Horizontale und vertikale Skalierungsansätze
  • Verwendung von Celery Executors für die verteilte Ausführung
  • Bewährte Praktiken für die Skalierung in Cloud-Umgebungen

Überwachung und Debugging von Workflows

  • Konfigurieren von Protokollierung und Alarmen für die Workflow-Überwachung
  • Verwendung der Airflow-Benutzeroberfläche und der CLI zur Fehlerbehebung
  • Erkennen und Beheben von häufigen Problemen in Airflow-Implementierungen

Sichern Apache Airflow

  • Authentifizierung und Zugriffskontrolle in Airflow
  • Schutz von sensiblen Daten und Umgebungskonfigurationen
  • Implementierung von Prüfpfaden für Workflows

Enterprise Use Cases und Best Practices

  • Entwurf robuster Workflows für Produktionsumgebungen
  • Nutzung von Airflow für Data Engineering und ETL-Pipelines
  • Untersuchung von realen Fallstudien über skalierbare Airflow-Bereitstellungen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundkenntnisse in Apache Airflow
  • Vertrautheit mit Python-Programmier- und Workflow-Orchestrierungskonzepten
  • Erfahrung in der Verwaltung und Bereitstellung von Anwendungen in Linux-Umgebungen

Zielgruppe

  • Daten-Ingenieure
  • DevOps Fachleute
  • Software-Entwickler
 21 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien