Від розробки до продакшену

Створення конвеєрів даних з Airflow

Volker Janz

Senior Developer Advocate at Astronomer

CLI Airflow

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Ваш продакшен-інструментарій поруч з інтерфейсом
Автоматизуйте операції та скриптуйте деплойменти

Запуск виконання

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Створює ручний запуск для конкретної дати
Прапорець --logical-date задає, яку дату обробляє запуск
Зверніть увагу: run_id починається з manual__

Список запусків

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Показує усі запуски для Dag
Префікс у run_id показує, як створено запуск
scheduled__ = створено планувальником
manual__ = створено командою trigger або в UI

Backfill історичних даних

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Перепроцесити діапазон історичних дат
Створює по одному запуску на інтервал
--max-active-runs керує паралельністю
Backfill-запуски починаються з backfill__

Три типи запусків

Три типи запусків, їхні префікси та спосіб створення

scheduled__: створює автоматично планувальник
manual__: створює команда trigger або кнопка в UI
backfill__: створює команда backfill для історичних дат
Префікс у run_id завжди підкаже, який це тип

Виклики продакшену

Виклики продакшену в Airflow: build, run, observe

Build: налаштування середовищ Airflow, розробка робочих процесів з AI, деплой коду в продакшен
Run: масштабування воркерів, фейловер між регіонами
Observe: розслідування збоїв, відстеження свіжості даних, трасування походження в межах і поза Dag

Astro: Build

Astro CLI

Локальний Airflow однією командою
Деплой у продакшен без зайвих кроків

Astro IDE

Браузерне створення Dag
AI-допомога в коді, без локального налаштування

Astro Build products

Astro: Run and Observe

Run

Еластичне авто-масштабування за чергою задач
Висока доступність з автоматичним фейловером
Без керування інфраструктурою

Observe

Походження конвеєрів між Dag і таблицями
Проактивні SLA-сповіщення до дедлайнів
AI-резюме логів для швидшого аналізу причин

Astro Observe

Давайте потренуємось!

Створення конвеєрів даних з Airflow