Airflow yürütücüleri

Python ile Apache Airflow'a Giriş

Mike Metzger

Data Engineer

Yürütücü nedir?

  • Yürütücüler görevleri çalıştırır
  • Farklı yürütücüler görev çalıştırmayı farklı yönetir
  • Örnek yürütücüler:
    • SequentialExecutor
    • LocalExecutor
    • KubernetesExecutor
Python ile Apache Airflow'a Giriş

SequentialExecutor

  • Varsayılan Airflow yürütücüsü
  • Aynı anda tek bir görev çalıştırır
  • Hata ayıklama için yararlıdır
  • İşlevsel olsa da prodüksiyon için önerilmez
Python ile Apache Airflow'a Giriş

LocalExecutor

  • Tek bir sistemde çalışır
  • Görevleri süreç olarak ele alır
  • Paralellik kullanıcı tarafından tanımlanır
  • Verilen ana sistemin tüm kaynaklarını kullanabilir
Python ile Apache Airflow'a Giriş

KubernetesExecutor

  • Görev yöneticisi olarak Kubernetes kullanır
  • Birden çok worker sistemi tanımlanabilir
  • Kurulum ve yapılandırması belirgin şekilde daha zordur
  • Kapsamlı iş akışları olan kurumlar için son derece güçlüdür
Python ile Apache Airflow'a Giriş

Yürütücünüzü belirleyin

  • airflow.cfg dosyası üzerinden
  • executor= satırını bulun

cat airflow.cfg | grep "executor = "

Python ile Apache Airflow'a Giriş

Yürütücünüzü belirleyin #2

  • airflow info{{1}} çıktısının ilk satırlarında
  • executor | SequentialExecutor

airflow info

Python ile Apache Airflow'a Giriş

Hadi pratik yapalım!

Python ile Apache Airflow'a Giriş

Preparing Video For Download...