สรุป

การสร้าง Data Pipeline ด้วย Airflow

Volker Janz

Developer Advocate at Astronomer

สิ่งที่ได้สร้าง

เส้นทางการเรียน: 4 บทสู่ production pipelines

  • สร้าง Dag ด้วย TaskFlow API และส่งข้อมูลผ่าน XCom
  • สร้าง dynamic workflows ด้วย task mapping, assets และ HITL workflows
  • ทำให้ Dag พร้อมใช้งานใน production ด้วย retries, deferrable operators และ tests
  • จัดการ SQL workloads ด้วย partitions และ quality gates
การสร้าง Data Pipeline ด้วย Airflow

เครื่องมือที่ได้เรียนรู้

บทที่ 1: พื้นฐาน

  • @dag, @task, TaskFlow API
  • XCom, .output, การส่งข้อมูล
  • การกำหนดเวอร์ชัน Dag, กลยุทธ์การตั้งเวลา

บทที่ 2: การเขียน Dag ขั้นสูง

  • .expand(), .partial(), dynamic task mapping
  • Asset, outlets, schedule=[Asset], data-aware scheduling
  • {{ ds }}, idempotency, human-in-the-loop

บทที่ 3: พร้อมใช้งานใน production

  • retries, on_failure_callback, การแจ้งเตือน deadline
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

บทที่ 4: SQL workloads

  • SQL ด้วย SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • คุณภาพข้อมูล, CLI, นำ Airflow ขึ้น production
การสร้าง Data Pipeline ด้วย Airflow

เริ่มสร้างได้เลยวันนี้

เริ่มสร้างได้เลยวันนี้

$$

การสร้าง Data Pipeline ด้วย Airflow

ขอให้สนุกกับการสร้าง!

การสร้าง Data Pipeline ด้วย Airflow

Preparing Video For Download...