Итоги

Построение пайплайнов данных с Airflow

Volker Janz

Developer Advocate at Astronomer

Что вы построили

Путь по курсу: 4 главы, ведущие к production-пайплайнам

  • Создавали DAG с помощью TaskFlow API и передавали данные через XCom
  • Строили динамические рабочие процессы с маппингом задач, ресурсами и HITL-процессами
  • Готовили DAG к production: повторные попытки, deferrable-операторы и тесты
  • Оркестрировали SQL-нагрузки с партициями и контролем качества
Построение пайплайнов данных с Airflow

Ваш инструментарий

Глава 1: Основы

  • @dag, @task, TaskFlow API
  • XCom, .output, передача данных
  • Версионирование DAG, стратегии планирования

Глава 2: Продвинутое создание

  • .expand(), .partial(), динамический маппинг задач
  • Asset, outlets, schedule=[Asset], планирование на основе данных
  • {{ ds }}, идемпотентность, участие человека в процессе

Глава 3: Готовность к production

  • retries, on_failure_callback, оповещения о дедлайнах
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Глава 4: SQL-нагрузки

  • SQL с SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Качество данных, CLI, вывод Airflow в production
Построение пайплайнов данных с Airflow

Начните создавать уже сегодня

Начните создавать уже сегодня

$$

Построение пайплайнов данных с Airflow

Удачи в разработке!

Построение пайплайнов данных с Airflow

Preparing Video For Download...