Introduzione ad Apache Airflow

Introduzione ad Apache Airflow in Python

Mike Metzger

Data Engineer

Cos’è un workflow?

  • Workflow - Insieme di passaggi per completare un processo di data engineering

 

  • Esempio: scaricare file, copiare dati, filtrare info e scrivere in un database

Diagramma di un workflow con passaggi sequenziali dal download dei file alla scrittura su un database

Introduzione ad Apache Airflow in Python

Cos’è Airflow?

Airflow - una piattaforma per orchestrare i workflow:

  • Creare
  • Pianificare
  • Monitorare

 

Logo di Apache Airflow

   

Icone che rappresentano la creazione, pianificazione e monitoraggio dei workflow

Introduzione ad Apache Airflow in Python

Cos’è Airflow?

  • Puoi eseguire programmi in qualsiasi linguaggio, ma i workflow sono scritti in Python
  • Implementa i workflow come DAG
  • Accesso via interfaccia web, codice, riga di comando o REST API
  • Usato per pipeline ETL, workflow ML, automazione, ecc.

 

Logo di Apache Airflow

Introduzione ad Apache Airflow in Python

Introduzione rapida ai DAG

DAG - un modello che rappresenta tutto ciò che serve per eseguire un workflow.

  • Include i task e le loro dipendenze
  • Creato con vari dettagli come nome, email, owner

Esempio di DAG con task collegati da frecce di dipendenza

Introduzione ad Apache Airflow in Python

Componenti di Airflow

  • Scheduler - Attiva i workflow pianificati, invia i task
  • API Server - Fornisce accesso sicuro e uniforme alla piattaforma Airflow
  • Dag processor - Letto dallo scheduler per capire quali task eseguire e quando
  • Metadata database - Memorizza lo stato di DAG e task

Diagramma dei componenti Airflow: scheduler, API server, Dag processor e metadata database

Introduzione ad Apache Airflow in Python

Eseguire un workflow nella UI di Airflow

Vista DAG di Airflow che mostra due DAG caricati con opzioni di interazione

Introduzione ad Apache Airflow in Python

Eseguire un workflow nella UI di Airflow

Vista DAG di Airflow con il pulsante play per il trigger evidenziato

Introduzione ad Apache Airflow in Python

Eseguire un workflow nella UI di Airflow

Popup di trigger del DAG in Airflow con opzioni di esecuzione predefinite e pulsante Trigger

Introduzione ad Apache Airflow in Python

Eseguire un workflow nella UI di Airflow

Vista DAG di Airflow che mostra l’ultima esecuzione riuscita con una spunta verde

Introduzione ad Apache Airflow in Python

Eseguire un workflow nella UI di Airflow

Vista task di un run del DAG in Airflow con dettagli dei singoli task come generate_random_number

Introduzione ad Apache Airflow in Python

Ayo berlatih!

Introduzione ad Apache Airflow in Python

Preparing Video For Download...