Підсумок

Створення конвеєрів даних з Airflow

Volker Janz

Developer Advocate at Astronomer

Що ви створили

Шлях курсу: 4 розділи до продакшн-пайплайнів

  • Створили Dags за допомогою TaskFlow API і передавали дані через XCom
  • Побудували динамічні робочі процеси з мапінгом задач, активами та HITL-процесами
  • Зробили Dags готовими до продакшну завдяки ретраям, відкладним операторам і тестам
  • Оркестрували навантаження SQL з партиціями та quality gates
Створення конвеєрів даних з Airflow

Ваш інструментарій

Розділ 1: Основи

  • @dag, @task, TaskFlow API
  • XCom, .output, передавання даних
  • Версіонування Dag, стратегії розкладу

Розділ 2: Просунуте створення

  • .expand(), .partial(), динамічний мапінг задач
  • Asset, виходи, schedule=[Asset], розклад з урахуванням даних
  • {{ ds }}, ідемпотентність, human-in-the-loop

Розділ 3: Готовність до продакшну

  • retries, on_failure_callback, сповіщення про дедлайни
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Розділ 4: Навантаження SQL

  • SQL з SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Якість даних, CLI, продакшенізація Airflow
Створення конвеєрів даних з Airflow

Почніть будувати вже сьогодні

Почніть будувати вже сьогодні

$$

Створення конвеєрів даних з Airflow

Успішної розробки!

Створення конвеєрів даних з Airflow

Preparing Video For Download...