開発から本番環境へ

Airflow によるデータパイプラインの構築

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

UIと並ぶ本番環境のツール
運用の自動化とデプロイのスクリプト化

実行のトリガー

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

特定の日付の手動実行を作成します
--logical-date フラグで処理対象の日付を指定します
run_id が manual__ で始まる点に注目してください

実行の一覧表示

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

DAGのすべての実行を表示します
run_id のプレフィックスから実行の作成方法がわかります
scheduled__ = スケジューラーによる作成
manual__ = triggerコマンドまたはUIによる作成

過去データのバックフィル

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

過去の日付範囲を再処理します
スケジュール間隔ごとに1回の実行を作成します
--max-active-runs で同時実行数を制御します
バックフィルの実行は backfill__ で始まります

3種類の実行タイプ

3種類の実行タイプとそのプレフィックスおよび作成方法

scheduled__: スケジューラーが自動的に作成
manual__: triggerコマンドまたはUIボタンで作成
backfill__: 過去の日付に対してbackfillコマンドで作成
run_id のプレフィックスを見れば種類がすぐにわかります

本番環境の課題

Airflow本番環境の課題：構築・実行・監視

構築（Build）: Airflow環境のセットアップ、AIを活用したワークフロー開発、本番環境へのデプロイ
実行（Run）: ワーカーのスケーリング、リージョンをまたいだフェイルオーバーの処理
監視（Observe）: 障害調査、データの鮮度追跡、DAGを横断したリネージのトレース

Astro：構築（Build）

Astro CLI

1つのコマンドでローカルAirflowを起動
本番環境へシームレスにデプロイ

Astro IDE

ブラウザベースのDAGオーサリング
AIによるコード支援、ローカル環境不要

Astroの構築製品

Astro：実行と監視（Run and Observe）

実行（Run）

タスクキューに応じたエラスティックな自動スケーリング
自動フェイルオーバーによる高可用性
インフラ管理不要

監視（Observe）

DAGとテーブルをまたいだパイプラインリネージ
期限超過前に通知するプロアクティブなSLAアラート
根本原因分析を迅速化するAIによるログ要約

Astroの監視機能

練習しましょう！

Airflow によるデータパイプラインの構築