Apache Airflow’a Giriş

Python ile Apache Airflow’a Giriş

Mike Metzger

Data Engineer

İş akışı nedir?

  • İş akışı - Belirli bir veri mühendisliği sürecini tamamlamak için adımlar kümesi

 

  • Örnek: Dosya indir, veriyi kopyala, filtrele, veritabanına yaz

İş akışı diyagramı: dosya indirmeden veritabanına yazmaya ardışık adımlar

Python ile Apache Airflow’a Giriş

Airflow nedir?

Airflow - iş akışlarını düzenleme platformu:

  • Oluşturun
  • Zamanlayın
  • İzleyin

 

Apache Airflow logo

   

İş akışlarını oluşturma, zamanlama ve izlemeyi temsil eden simgeler

Python ile Apache Airflow’a Giriş

Airflow nedir?

  • Her dilde programlar çalıştırabilir, ancak iş akışları Python ile yazılır
  • İş akışlarını DAG’ler olarak uygular
  • Web arayüzü, kod, komut satırı veya REST API ile erişilir
  • ETL hatları, ML iş akışları, otomasyon vb. için kullanılır

 

Apache Airflow logo

Python ile Apache Airflow’a Giriş

DAG’lere hızlı giriş

DAG - Bir iş akışını yürütmek için gereken her şeyi temsil eden model.

  • Görevler ve bağımlılıklarından oluşur
  • Ad, e-posta, sahip gibi ayrıntılarla oluşturulur

Bağımlılık oklarıyla bağlanan görevlerden oluşan örnek DAG

Python ile Apache Airflow’a Giriş

Airflow bileşenleri

  • Scheduler - Zamanlanan iş akışlarını tetikler, görevleri gönderir
  • API Server - Airflow’a güvenli ve tutarlı erişim sağlar
  • Dag processor - Zamanlayıcı tarafından okunur; hangi görevlerin ne zaman çalışacağını belirler
  • Metadata database - Dag’lerin ve görevlerin durumunu saklar

Airflow bileşenleri diyagramı: scheduler, API server, Dag processor ve metadata database

Python ile Apache Airflow’a Giriş

Airflow UI’da iş akışı çalıştırma

Airflow DAG’ler görünümü: iki yüklü DAG ve etkileşim seçenekleri

Python ile Apache Airflow’a Giriş

Airflow UI’da iş akışı çalıştırma

Airflow DAG’ler görünümünde vurgulanmış tetikleme oynat düğmesi

Python ile Apache Airflow’a Giriş

Airflow UI’da iş akışı çalıştırma

Airflow DAG tetikleme açılır penceresi: varsayılan çalışma seçenekleri ve Trigger düğmesi

Python ile Apache Airflow’a Giriş

Airflow UI’da iş akışı çalıştırma

Airflow DAG’ler görünümü: yeşil onay işaretiyle başarılı son çalışma

Python ile Apache Airflow’a Giriş

Airflow UI’da iş akışı çalıştırma

Airflow DAG çalıştırma görevleri görünümü: generate_random_number gibi tekil görev ayrıntıları listelenmiş

Python ile Apache Airflow’a Giriş

Haydi pratik yapalım!

Python ile Apache Airflow’a Giriş

Preparing Video For Download...