요약

Airflow로 데이터 파이프라인 구축하기

Volker Janz

Developer Advocate at Astronomer

여러분이 구축한 것

코스 여정: 프로덕션 파이프라인으로 이어지는 4개 챕터

TaskFlow API로 DAG를 작성하고 XCom으로 데이터를 전달했습니다
태스크 매핑, 에셋, HITL 워크플로로 동적 워크플로를 구축했습니다
재시도, 지연 가능 오퍼레이터, 테스트로 DAG를 프로덕션 수준으로 만들었습니다
파티션과 품질 게이트로 SQL 워크로드를 오케스트레이션했습니다

학습 도구 모음

챕터 1: 기초

@dag, @task, TaskFlow API
XCom, .output, 데이터 전달
DAG 버전 관리, 스케줄링 전략

챕터 2: 고급 작성

.expand(), .partial(), 동적 태스크 매핑
Asset, 아웃렛, schedule=[Asset], 데이터 인식 스케줄링
{{ ds }}, 멱등성, 휴먼인더루프

챕터 3: 프로덕션 준비

retries, on_failure_callback, 마감 알림
deferrable=True, Triggerer
DagBag, dag.test(), @task_group

챕터 4: SQL 워크로드

SQLExecuteQueryOperator로 SQL 실행
CronPartitionTimetable, PartitionedAssetTimetable
데이터 품질, CLI, Airflow 프로덕션화

지금 바로 구축을 시작하세요

지금 바로 구축을 시작하세요

무료 Astro 체험 시작하기: astronomer.io/lp/signup
Airflow 공식 문서 살펴보기: airflow.apache.org
Apache Airflow Slack 커뮤니티 참여하기: airflow.apache.org/community

$$

즐거운 개발 되세요!

Airflow로 데이터 파이프라인 구축하기

Preparing Video For Download...