Tóm tắt

Xây dựng Data Pipeline với Airflow

Volker Janz

Developer Advocate at Astronomer

Bạn đã xây dựng được gì

Hành trình khóa học: 4 chương xây dựng đến pipeline sản xuất

  • Viết Dags với TaskFlow API và truyền dữ liệu bằng XCom
  • Xây dựng workflow động với task mapping, tài sản (assets), và workflow HITL
  • Biến Dags sẵn sàng sản xuất với retries, deferrable operators và tests
  • Điều phối tác vụ SQL với phân vùng và quality gates
Xây dựng Data Pipeline với Airflow

Bộ công cụ của bạn

Chương 1: Nền tảng

  • @dag, @task, TaskFlow API
  • XCom, .output, truyền dữ liệu
  • Phiên bản hóa Dag, chiến lược lập lịch

Chương 2: Tác giả nâng cao

  • .expand(), .partial(), ánh xạ tác vụ động
  • Asset, outlets, schedule=[Asset], lập lịch nhận biết dữ liệu
  • {{ ds }}, idempotency, human-in-the-loop

Chương 3: Sẵn sàng sản xuất

  • retries, on_failure_callback, cảnh báo deadline
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Chương 4: Tác vụ SQL

  • SQL với SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Chất lượng dữ liệu, CLI, đưa Airflow vào sản xuất
Xây dựng Data Pipeline với Airflow

Bắt đầu xây dựng hôm nay

Bắt đầu xây dựng hôm nay

$$

Xây dựng Data Pipeline với Airflow

Chúc bạn xây dựng thật vui!

Xây dựng Data Pipeline với Airflow

Preparing Video For Download...