Tworzenie potoku produkcyjnego

Wprowadzenie do Apache Airflow w Pythonie

Mike Metzger

Data Engineer

Uruchamianie DAG-ów i zadań

Uruchamianie konkretnego zadania z wiersza poleceń:

airflow tasks test <dag_id> <task_id> <date>

Uruchamianie całego DAG-a:

airflow dags trigger --logical-date <date> <dag_id>
Wprowadzenie do Apache Airflow w Pythonie

Przypomnienie o zadaniach

  • @task – oznacza funkcję Pythona jako zadanie Airflow
  • @task.bash – zwraca wynik polecenia bash jako wynik zadania Airflow
  • @task.branch – operator rozgałęziania umożliwiający wybór ścieżki w DAG-u w czasie wykonania
  • FileSensor – wymaga argumentu filepath; może wymagać atrybutów mode lub poke_interval
Wprowadzenie do Apache Airflow w Pythonie

Przypomnienie o szablonach

  • Wiele obiektów w Airflow obsługuje szablony
  • Niektóre pola przyjmują ciągi szablonowe, inne nie
  • Jeden ze sposobów sprawdzenia to wbudowana dokumentacja:
  1. Otwórz interpreter python3
  2. Zaimportuj potrzebne biblioteki (np. from airflow.sdk import dag, task)
  3. W wierszu poleceń uruchom help(<obiekt Airflow>), np. help(task)
  4. Znajdź wiersz odnoszący się do template_fields – wskazuje on argumenty obsługujące szablony.
Wprowadzenie do Apache Airflow w Pythonie

Przykład dokumentacji szablonów

Terminal wyświetlający wynik polecenia help() dla obiektu Airflow w python3

Wynik terminala z wyróżnionym wierszem template_fields w pomocy Airflow

Wprowadzenie do Apache Airflow w Pythonie

Praca z Airflow

Ilustracja przedstawiająca tworzenie, harmonogramowanie i monitorowanie przepływów pracy

Logo Apache Airflow

Wprowadzenie do Apache Airflow w Pythonie

Czas na ćwiczenia!

Wprowadzenie do Apache Airflow w Pythonie

Preparing Video For Download...