Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Wiederholung von Apache Airflow Grundlagen
- Zentrale Konzepte: DAGs, Operatoren und Ausführungsfluss
- Airflow-Architektur und -Komponenten
- Verstehen von fortgeschrittenen Anwendungsfällen und Workflows
Erstellen von benutzerdefinierten Operatoren
- Verstehen der Anatomie eines Airflow-Operators
- Entwickeln von benutzerdefinierten Operatoren für bestimmte Aufgaben
- Testen und Fehlersuche bei benutzerdefinierten Operatoren
Benutzerdefinierte Hooks und Sensoren
- Implementierung von Hooks für externe Systemintegration
- Erstellen von Sensoren zur Überwachung externer Auslöser
- Verbesserung der Workflow-Interaktivität durch benutzerdefinierte Sensoren
Entwickeln von Airflow-Plugins
- Verstehen der Plugin-Architektur
- Entwerfen von Plugins zur Erweiterung der Airflow-Funktionalität
- Bewährte Verfahren für die Verwaltung und Bereitstellung von Plugins
Integration von Airflow mit externen Systemen
- Verbinden von Airflow mit Datenbanken, APIs und Cloud-Diensten
- Verwendung von Airflow für ETL-Workflows und Echtzeit-Datenverarbeitung
- Verwaltung von Abhängigkeiten zwischen Airflow und externen Systemen
Erweiterte Fehlersuche und Überwachung
- Verwendung von Airflow-Protokollen und -Metriken für die Fehlersuche
- Konfigurieren von Alarmen und Benachrichtigungen für Workflow-Probleme
- Nutzung externer Überwachungstools mit Airflow
Optimierung von Leistung und Scalability
- Skalierung von Airflow mit Celery und Kubernetes Executors
- Optimierung der Ressourcennutzung in komplexen Arbeitsabläufen
- Strategien für hohe Verfügbarkeit und Fehlertoleranz
Fallstudien und Real-World-Anwendungen
- Erforschung fortgeschrittener Anwendungsfälle in der Datentechnik und DevOps
- Fallstudie: Benutzerdefinierte Operator-Implementierung für groß angelegte ETL
- Bewährte Verfahren für die Verwaltung von Arbeitsabläufen auf Unternehmensebene
Zusammenfassung und nächste Schritte
Voraussetzungen
- Ausgeprägtes Verständnis der Apache Airflow-Grundlagen, einschließlich DAGs, Operatoren und Ausführungsarchitektur
- Beherrschung der Python-Programmierung
- Erfahrung mit der Integration von Datensystemen und Workflow-Orchestrierung
Zielgruppe
- Daten-Ingenieure
- DevOps Ingenieure
- Software-Architekten
21 Stunden