Üretimde bir veri hattı çalıştırma

Python ile ETL ve ELT

Jake Roach

Data Engineer

Veri hattı mimarisi kalıpları

# ETL işlevini tanımla
...
def load(clean_data):
...

# Veri hattını çalıştır
raw_stock_data = extract("raw_stock_data.csv")
clean_stock_data = transform(raw_stock_data)
load(clean_stock_data)

> ls
 etl_pipeline.py

# extract, transform ve load işlevlerini içe aktar
from pipeline_utils import extract, transform, load

# Veri hattını çalıştır
raw_stock_data = extract("raw_stock_data.csv")
clean_stock_data = transform(raw_stock_data)
load(clean_stock_data)

> ls
 etl_pipeline.py
 pipeline_utils.py

Uçtan uca bir veri hattı çalıştırma

import logging
from pipeline_utils import extract, transform, load

logging.basicConfig(format='%(levelname)s: %(message)s', level=logging.DEBUG)

try:
    # Veriyi extract, transform ve load et
    raw_stock_data = extract("raw_stock_data.csv")
    clean_stock_data = transform(raw_stock_data)
    load(clean_stock_data)

    logging.info("Veri başarıyla çıkarıldı, dönüştürüldü ve yüklendi.")  # Başarı iletisini günlüğe yaz

# Hataları işle, iletileri günlüğe yaz
except Exception as e:
    logging.error(f"Boru hattı şu hatayla başarısız oldu: {e}")

Üretimde veri hatlarını orkestre etme

Pazar payına göre orkestrasyon araçları.

¹ https://open.substack.com/pub/seattledataguy/p/the-state-of-data-engineering-part?r=1po78c&utm_campaign=post&utm_medium=web

Hadi pratik yapalım!

Python ile ETL ve ELT