Düzenleme

Modern Veri Mimarilerini Anlama

Miller Trujillo

Senior Software Engineer

Düzenleme nedir?

5 tabloyu işlemek için üst düzey iş akışı

  • Birden çok işi koordine edin
  • Karmaşık iş akışlarının otomatik yapılandırması ve koordinasyonu.

Airflow örnek DAG

  • İnsan kaynağını serbest bırakır
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Modern Veri Mimarilerini Anlama

Düzenleme ve zamanlama

Zamanlama

  • Görevleri belirli aralık/zamanlarda çalıştırır
  • Düzenlenmiş iş akışlarını başlatır

Zamanlama örneği

Düzenleme

Karmaşık iş akışlarını otomatikleştirip koordine eder

Düzenleme örneği

Modern Veri Mimarilerini Anlama

Apache Airflow

Apache Airflow logosu

  • Python ile karmaşık iş akışlarını koordine edin
Modern Veri Mimarilerini Anlama

Düzenlemenin temel kavramları

  • Görevler:
    • Temel yürütme birimi
  • Bağımlılıklar:
    • Görev sırasını belirler
  • Yönlendirilmiş Asiklik Grafik (DAG):
    • Görev ve bağımlılık iş akışı

Airflow DAG örneği

Modern Veri Mimarilerini Anlama

Düzenlemenin temel kavramları

  • Operatörler:
    • Görevin niteliğini belirler
    • BashOperator
    • PythonOperator
  • Sensörler:
    • Belirli koşulları bekler
  • Zamanlayıcı
    • Görev tetiklemeyi otomatikleştirir.
Modern Veri Mimarilerini Anlama

Hadi pratik yapalım!

Modern Veri Mimarilerini Anlama

Preparing Video For Download...