Einführung in Apache Airflow

Einführung in Apache Airflow mit Python

Mike Metzger

Data Engineer

Was ist ein Workflow?

  • Workflow – Eine Folge von Schritten für einen Data-Engineering-Prozess

 

  • Beispiel: Dateien laden, Daten kopieren, filtern und in eine Datenbank schreiben

Workflow-Diagramm mit sequentiellen Data-Engineering-Schritten vom Herunterladen bis zum Schreiben in eine Datenbank

Einführung in Apache Airflow mit Python

Was ist Airflow?

Airflow – eine Plattform zum Orchestrieren von Workflows:

  • Erstellen
  • Planen
  • Überwachen

 

Apache-Airflow-Logo

   

Icons für Erstellen, Planen und Überwachen von Workflows

Einführung in Apache Airflow mit Python

Was ist Airflow?

  • Kann Programme in jeder Sprache ausführen, aber Workflows werden in Python geschrieben
  • Implementiert Workflows als DAGs
  • Zugriff über Weboberfläche, Code, Kommandozeile oder REST API
  • Für ETL-Pipelines, ML-Workflows, Automatisierung usw.

 

Apache-Airflow-Logo

Einführung in Apache Airflow mit Python

Kurze Einführung in DAGs

DAG – Ein Modell, das alles zur Ausführung eines Workflows beschreibt.

  • Besteht aus Tasks und deren Abhängigkeiten
  • Erstellt mit Details wie Name, E-Mail, Owner

Beispiel-DAG mit Tasks, verbunden durch Abhängigkeitspfeile

Einführung in Apache Airflow mit Python

Airflow-Komponenten

  • Scheduler – Löst geplante Workflows aus, übergibt Tasks
  • API Server – Bietet konsistenten, sicheren Zugriff auf die Airflow-Plattform
  • Dag Processor – Vom Scheduler gelesen, um zu bestimmen, welche Tasks wann laufen
  • Metadatenbank – Speichert den Status von Dags und Tasks

Diagramm der Airflow-Komponenten: Scheduler, API-Server, Dag Processor und Metadatenbank

Einführung in Apache Airflow mit Python

Workflow in der Airflow-UI ausführen

Airflow-DAGs-Ansicht mit zwei geladenen DAGs und Interaktionsoptionen

Einführung in Apache Airflow mit Python

Workflow in der Airflow-UI ausführen

Airflow-DAGs-Ansicht mit hervorgehobener Trigger-Play-Schaltfläche

Einführung in Apache Airflow mit Python

Workflow in der Airflow-UI ausführen

Airflow-Trigger-DAG-Popup mit Standardlaufoptionen und einer Trigger-Schaltfläche

Einführung in Apache Airflow mit Python

Workflow in der Airflow-UI ausführen

Airflow-DAGs-Ansicht mit erfolgreichem letzten Lauf, markiert mit grünem Häkchen

Einführung in Apache Airflow mit Python

Workflow in der Airflow-UI ausführen

Airflow-Ansicht eines DAG-Runs mit einzelnen Taskdetails wie generate_random_number

Einführung in Apache Airflow mit Python

Lass uns üben!

Einführung in Apache Airflow mit Python

Preparing Video For Download...