От разработки к продакшену

Построение пайплайнов данных с Airflow

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Ваш производственный инструментарий наряду с UI
Автоматизируйте операции и скриптуйте развёртывания

Запуск DAG вручную

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Создаёт ручной запуск для конкретной даты
Флаг --logical-date задаёт дату обработки
Обратите внимание: run_id начинается с manual__

Просмотр запусков

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Отображает все запуски DAG
Префикс run_id показывает, как был создан запуск
scheduled__ = создан планировщиком
manual__ = создан командой trigger или через UI

Бэкфилл исторических данных

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Повторная обработка диапазона исторических дат
Создаёт один запуск на каждый плановый интервал
--max-active-runs управляет параллелизмом
Запуски бэкфилла начинаются с backfill__

Три типа запусков

Три типа запусков с их префиксами и способами создания

scheduled__: создаётся автоматически планировщиком
manual__: создаётся командой trigger или кнопкой в UI
backfill__: создаётся командой backfill для исторических дат
Префикс в run_id всегда показывает, как был создан запуск

Производственные задачи

Производственные задачи Airflow: сборка, запуск и наблюдение

Build: настройка окружений Airflow, разработка рабочих процессов с ИИ, развёртывание кода в продакшен
Run: масштабирование воркеров, обеспечение отказоустойчивости по регионам
Observe: анализ сбоев, отслеживание актуальности данных, трассировка происхождения данных внутри и за пределами DAG

Astro: Build

Astro CLI

Локальный Airflow одной командой
Развёртывание в продакшен без лишних шагов

Astro IDE

Браузерная разработка DAG
Написание кода с ИИ, без локальной настройки

Продукты Astro Build

Astro: Run и Observe

Run

Эластичное автомасштабирование по очереди задач
Высокая доступность с автоматическим переключением при сбое
Не требует управления инфраструктурой

Observe

Происхождение данных по DAG и таблицам
Проактивные SLA-оповещения до нарушения дедлайнов
Сводки логов с ИИ для быстрого анализа первопричин

Astro Observe

Давайте потренируемся!

Построение пайплайнов данных с Airflow