Introduktion till Apache Airflow

Introduktion till Apache Airflow i Python

Mike Metzger

Data Engineer

Vad är ett arbetsflöde?

Exempel: Ladda ned filer, kopiera data, filtrera information och skriv till en databas

Arbetsflödesdiagram med sekventiella dataingenjörssteg, från nedladdning av filer till skrivning till en databas

Airflow – en plattform för att orkestrera arbetsflöden:

Apache Airflow-logotyp

Ikoner som representerar att skapa, schemalägga och övervaka arbetsflöden

Apache Airflow-logotyp

Dag – en modell som representerar allt som behövs för att köra ett arbetsflöde.

Exempel på en Dag med uppgifter kopplade via beroendepilar

Scheduler – Utlöser schemalagda arbetsflöden och skickar uppgifter
API Server – Ger säker och konsekvent åtkomst till Airflow-plattformen
Dag processor – Läses av schemaläggaren för att avgöra vilka uppgifter som ska köras och när
Metadata database – Lagrar tillståndet för Dags och uppgifter

Diagram över Airflow-komponenter: scheduler, API server, Dag processor och metadata database

Airflow Dags-vy med två laddade Dags och interaktionsalternativ

Airflow Dags-vy med startknappen för att trigga en Dag markerad

Popup för att trigga en Dag i Airflow med standardalternativ och en Trigger-knapp

Airflow Dags-vy med en lyckad senaste körning markerad med en grön bock

Vy över Dag-körningens uppgifter i Airflow med detaljer för enskilda uppgifter, t.ex. generate_random_number

Introduktion till Apache Airflow i Python