Orkestrasi

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Apa itu orkestrasi?

Alur kerja tingkat tinggi untuk memproses 5 tabel

  • Mengoordinasikan banyak job
  • Otomatisasi konfigurasi dan koordinasi alur kerja kompleks.

Contoh DAG Airflow

  • Menghemat sumber daya manusia
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Memahami Arsitektur Data Modern

Orkestrasi vs penjadwalan

Penjadwalan

  • Menjalankan tugas pada interval/waktu tertentu
  • Pemicu awal alur kerja terorkestrasi

Contoh penjadwalan

Orkestrasi

Mengotomatisasi dan mengoordinasikan alur kerja kompleks

Contoh orkestrasi

Memahami Arsitektur Data Modern

Apache Airflow

Logo Apache Airflow

  • Mengoordinasikan alur kerja kompleks dengan Python
Memahami Arsitektur Data Modern

Konsep inti orkestrasi

  • Tugas:
    • Unit eksekusi dasar
  • Ketergantungan:
    • Menentukan urutan tugas
  • Directed Acyclic Graph (DAG):
    • Alur kerja tugas dan ketergantungan

Contoh DAG Airflow

Memahami Arsitektur Data Modern

Konsep inti orkestrasi

  • Operator:
    • Menentukan jenis tugas
    • BashOperator
    • PythonOperator
  • Sensor:
    • Menunggu kondisi tertentu
  • Penjadwal
    • Mengotomatisasi pemicu tugas.
Memahami Arsitektur Data Modern

Ayo berlatih!

Memahami Arsitektur Data Modern

Preparing Video For Download...