Orchestration

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Miller Trujillo

Senior Software Engineer

Orchestration คืออะไร?

ขั้นตอนการประมวลผล 5 ตาราง

  • ประสานงานหลาย job พร้อมกัน
  • กำหนดค่าและประสานงานเวิร์กโฟลว์ที่ซับซ้อนโดยอัตโนมัติ

ตัวอย่าง DAG ใน Airflow

  • ลดภาระงานของทีม
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Orchestration vs Scheduling

Scheduling

  • รันงานตามช่วงเวลาหรือเวลาที่กำหนด
  • จุดเริ่มต้นของเวิร์กโฟลว์แบบ orchestrated

ตัวอย่าง Scheduling

Orchestration

ทำให้เวิร์กโฟลว์ที่ซับซ้อนทำงานโดยอัตโนมัติและประสานกัน

ตัวอย่าง Orchestration

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Apache Airflow

โลโก้ Apache Airflow

  • ประสานเวิร์กโฟลว์ที่ซับซ้อนด้วย Python
ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

แนวคิดหลักของ Orchestration

  • Tasks:
    • หน่วยการรันงานพื้นฐาน
  • Dependencies:
    • กำหนดลำดับการทำงานของ task
  • Directed Acyclic Graph (DAG):
    • เวิร์กโฟลว์ของ task และ dependency

ตัวอย่าง DAG ใน Airflow

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

แนวคิดหลักของ Orchestration

  • Operators:
    • กำหนดประเภทของ task
    • BashOperator
    • PythonOperator
  • Sensors:
    • รอจนกว่าเงื่อนไขที่กำหนดจะเป็นจริง
  • Scheduler
    • ทริกเกอร์ task โดยอัตโนมัติ
ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

มาฝึกกันเถอะ!

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Preparing Video For Download...