Schulungsübersicht

Wiederholung von Apache Airflow Grundlagen

  • Zentrale Konzepte: DAGs, Operatoren und Ausführungsfluss
  • Airflow-Architektur und -Komponenten
  • Verstehen von fortgeschrittenen Anwendungsfällen und Workflows

Erstellen von benutzerdefinierten Operatoren

  • Verstehen der Anatomie eines Airflow-Operators
  • Entwickeln von benutzerdefinierten Operatoren für bestimmte Aufgaben
  • Testen und Fehlersuche bei benutzerdefinierten Operatoren

Benutzerdefinierte Hooks und Sensoren

  • Implementierung von Hooks für externe Systemintegration
  • Erstellen von Sensoren zur Überwachung externer Auslöser
  • Verbesserung der Workflow-Interaktivität durch benutzerdefinierte Sensoren

Entwickeln von Airflow-Plugins

  • Verstehen der Plugin-Architektur
  • Entwerfen von Plugins zur Erweiterung der Airflow-Funktionalität
  • Bewährte Verfahren für die Verwaltung und Bereitstellung von Plugins

Integration von Airflow mit externen Systemen

  • Verbinden von Airflow mit Datenbanken, APIs und Cloud-Diensten
  • Verwendung von Airflow für ETL-Workflows und Echtzeit-Datenverarbeitung
  • Verwaltung von Abhängigkeiten zwischen Airflow und externen Systemen

Erweiterte Fehlersuche und Überwachung

  • Verwendung von Airflow-Protokollen und -Metriken für die Fehlersuche
  • Konfigurieren von Alarmen und Benachrichtigungen für Workflow-Probleme
  • Nutzung externer Überwachungstools mit Airflow

Optimierung von Leistung und Scalability

  • Skalierung von Airflow mit Celery und Kubernetes Executors
  • Optimierung der Ressourcennutzung in komplexen Arbeitsabläufen
  • Strategien für hohe Verfügbarkeit und Fehlertoleranz

Fallstudien und Real-World-Anwendungen

  • Erforschung fortgeschrittener Anwendungsfälle in der Datentechnik und DevOps
  • Fallstudie: Benutzerdefinierte Operator-Implementierung für groß angelegte ETL
  • Bewährte Verfahren für die Verwaltung von Arbeitsabläufen auf Unternehmensebene

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Ausgeprägtes Verständnis der Apache Airflow-Grundlagen, einschließlich DAGs, Operatoren und Ausführungsarchitektur
  • Beherrschung der Python-Programmierung
  • Erfahrung mit der Integration von Datensystemen und Workflow-Orchestrierung

Zielgruppe

  • Daten-Ingenieure
  • DevOps Ingenieure
  • Software-Architekten
 21 Stunden

Teilnehmerzahl


Price per participant (excl. VAT)

Kommende Kurse

Verwandte Kategorien