Introducere în Apache Airflow

Introducere în Apache Airflow în Python

Mike Metzger

Data Engineer

Ce este un flux de lucru?

  • Flux de lucru - Un set de pași pentru a realiza un proces de inginerie a datelor

 

  • Exemplu: Descărcarea fișierelor, copierea datelor, filtrarea informațiilor și scrierea în baza de date

Diagramă de flux cu pași secvențiali de inginerie a datelor, de la descărcarea fișierelor la scrierea în baza de date

Introducere în Apache Airflow în Python

Ce este Airflow?

Airflow - o platformă pentru orchestrarea fluxurilor de lucru:

  • Creare
  • Programare
  • Monitorizare

 

Sigla Apache Airflow

   

Pictograme reprezentând crearea, programarea și monitorizarea fluxurilor de lucru

Introducere în Apache Airflow în Python

Ce este Airflow?

  • Poate rula programe din orice limbaj, dar fluxurile sunt scrise în Python
  • Implementează fluxurile ca DAG-uri
  • Accesibil prin interfață web, cod, linie de comandă sau REST API
  • Folosit pentru pipeline-uri ETL, fluxuri ML, automatizare etc.

 

Sigla Apache Airflow

Introducere în Apache Airflow în Python

Introducere rapidă în DAG-uri

DAG - un model care reprezintă tot ce este necesar pentru a executa un flux de lucru.

  • Este format din sarcini și dependențele dintre ele
  • Creat cu diverse detalii: nume, e-mail, proprietar

Exemplu de DAG cu sarcini conectate prin săgeți de dependență

Introducere în Apache Airflow în Python

Componentele Airflow

  • Scheduler - Declanșează fluxuri programate, trimite sarcini
  • API Server - Oferă acces sigur și consistent la platforma Airflow
  • Dag processor - Citit de scheduler pentru a determina sarcinile și momentul execuției
  • Baza de date de metadate - Stochează starea DAG-urilor și sarcinilor

Diagramă a componentelor Airflow: scheduler, server API, procesor DAG și bază de date de metadate

Introducere în Apache Airflow în Python

Rularea unui flux în interfața Airflow

Vizualizarea DAG-urilor în Airflow cu două DAG-uri încărcate și opțiuni de interacțiune

Introducere în Apache Airflow în Python

Rularea unui flux în interfața Airflow

Vizualizarea DAG-urilor cu butonul de declanșare evidențiat

Introducere în Apache Airflow în Python

Rularea unui flux în interfața Airflow

Fereastra de declanșare DAG cu opțiuni implicite și un buton Trigger

Introducere în Apache Airflow în Python

Rularea unui flux în interfața Airflow

Vizualizarea DAG-urilor cu ultima rulare reușită marcată cu o bifă verde

Introducere în Apache Airflow în Python

Rularea unui flux în interfața Airflow

Vizualizarea sarcinilor unei rulări DAG cu detalii individuale, precum generate_random_number

Introducere în Apache Airflow în Python

Să exersăm!

Introducere în Apache Airflow în Python

Preparing Video For Download...