개발에서 프로덕션으로

Airflow로 데이터 파이프라인 구축하기

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

UI{{2}}와 함께 사용하는 프로덕션 툴킷
운영 자동화 및 배포 스크립팅

실행 트리거

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

특정 날짜의 수동 실행을 생성합니다
--logical-date 플래그로 처리할 날짜를 지정합니다
run_id가 manual__ 로 시작하는 것을 확인하세요

실행 목록 조회

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

DAG의 모든 실행을 표시합니다
run_id 접두사로 실행이 어떻게 생성되었는지 확인합니다
scheduled__ = 스케줄러가 생성
manual__ = 트리거 명령어 또는 UI로 생성

과거 데이터 백필

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

과거 날짜 범위를 재처리합니다
스케줄 간격마다 하나의 실행을 생성합니다
--max-active-runs로 동시 실행 수를 제어합니다
백필 실행은 backfill__ 로 시작합니다

세 가지 실행 유형

세 가지 실행 유형과 각 접두사 및 생성 방법

scheduled__: 스케줄러가 자동으로 생성
manual__: 트리거 명령어 또는 UI 버튼으로 생성
backfill__: 과거 날짜를 위한 백필 명령어로 생성
run_id의 접두사로 유형을 항상 확인할 수 있습니다

프로덕션 과제

Airflow 프로덕션 과제: 빌드, 실행, 관찰

빌드: Airflow 환경 구성, AI 기반 워크플로 개발, 프로덕션 코드 배포
실행: 워커 확장, 리전 간 장애 조치 처리
관찰: 장애 분석, 데이터 최신성 추적, DAG 내외 계보 추적

Astro: 빌드

Astro CLI

명령어 하나로 로컬 Airflow 실행
프로덕션에 원활하게 배포

Astro IDE

브라우저 기반 DAG 작성
AI 코딩 지원, 로컬 설치 불필요

Astro 빌드 제품

Astro: 실행 및 관찰

실행

작업 큐 기반 탄력적 자동 확장
자동 장애 조치를 통한 고가용성
인프라 관리 불필요

관찰

DAG 및 테이블 전반의 파이프라인 계보
마감 전 선제적 SLA 알림
빠른 근본 원인 분석을 위한 AI 로그 요약

Astro 관찰

연습해 봅시다!

Airflow로 데이터 파이프라인 구축하기