Airflow yürütücüleri

Python ile Apache Airflow'a Giriş

Mike Metzger

Data Engineer

Yürütücü nedir?

• Yürütücüler görevleri çalıştırır
• Farklı yürütücüler görev çalıştırmayı farklı yönetir
• Örnek yürütücüler:
  • SequentialExecutor
  • LocalExecutor
  • KubernetesExecutor

SequentialExecutor

• Varsayılan Airflow yürütücüsü
• Aynı anda tek bir görev çalıştırır
• Hata ayıklama için yararlıdır
• İşlevsel olsa da prodüksiyon için önerilmez

LocalExecutor

• Tek bir sistemde çalışır
• Görevleri süreç olarak ele alır
• Paralellik kullanıcı tarafından tanımlanır
• Verilen ana sistemin tüm kaynaklarını kullanabilir

KubernetesExecutor

• Görev yöneticisi olarak Kubernetes kullanır
• Birden çok worker sistemi tanımlanabilir
• Kurulum ve yapılandırması belirgin şekilde daha zordur
• Kapsamlı iş akışları olan kurumlar için son derece güçlüdür

Yürütücünüzü belirleyin

• airflow.cfg dosyası üzerinden
• executor= satırını bulun

Yürütücünüzü belirleyin #2

• airflow info{{1}} çıktısının ilk satırlarında
• executor | SequentialExecutor

Hadi pratik yapalım!

Python ile Apache Airflow'a Giriş