Створення промислового конвеєра

Вступ до Apache Airflow на Python

Mike Metzger

Data Engineer

Запуск Dag та завдань

Щоб запустити окреме завдання з командного рядка:

airflow tasks test <dag_id> <task_id> <date>

Щоб запустити весь Dag:

airflow dags trigger --logical-date <date> <dag_id>
Вступ до Apache Airflow на Python

Нагадування про завдання

  • @task — Позначає задану функцію Python як завдання Airflow
  • @task.bash — Повертає вміст bash-команди як результат завдання Airflow
  • @task.branch — Оператор розгалуження для вибору під час виконання всередині Dag
  • FileSensor — потребує аргумент filepath і може мати атрибути mode або poke_interval
Вступ до Apache Airflow на Python

Нагадування про шаблони

  • Багато об'єктів в Airflow підтримують шаблони
  • Деякі поля можна задавати шаблонними рядками, інші — ні
  • Перевірити це можна через вбудовану документацію:
  1. Відкрийте інтерпретатор python3
  2. Імпортуйте потрібні бібліотеки (наприклад, from airflow.sdk import dag, task)
  3. У консолі виконайте help(<Airflow object>), наприклад, help(task)
  4. Знайдіть рядок із template_fields. Там вказано аргументи, що підтримують шаблони.
Вступ до Apache Airflow на Python

Приклад документації щодо шаблонів

Термінал із виводом довідки python3 для об'єкта Airflow

Вивід термінала з підсвіченим рядком template_fields у довідці Airflow

Вступ до Apache Airflow на Python

Робота з Airflow

Ілюстрація створення, планування і моніторингу робочих процесів

Логотип Apache Airflow

Вступ до Apache Airflow на Python

Давайте потренуємось!

Вступ до Apache Airflow на Python

Preparing Video For Download...