Bir veri hattını izleme

Python ile ETL ve ELT

Jake Roach

Data Engineer

Bir veri hattını izleme

Veri hatları, veri değişimleri ve yürütme hataları için izlenmelidir

Eksik veri
Değişen veri türleri
Paket kullanımdan kalkması veya işlev değişimi

Bir veri hattı için günlüğe kaydetme iş akışı.

Veri hattı performansını günlüğe kaydetme

Yürütme sırasında performansı belgelendirir
Çözüm başarısız olduğunda başlangıç noktası sağlar

import logging
logging.basicConfig(format='%(levelname)s: %(message)s', level=logging.DEBUG)

# Farklı günlük türleri oluşturun
logging.debug(f"Variable has value {path}")
logging.info("Data has been transformed and will now be loaded.")

DEBUG: Variable has value raw_file.csv
INFO: Data has been transformed and will now be loaded.

Uyarı ve hataları günlüğe kaydetme

import logging
logging.basicConfig(format='%(levelname)s: %(message)s', level=logging.DEBUG)

# Farklı günlük türleri oluşturun
logging.warning("Beklenmeyen satır sayısı tespit edildi.")
logging.error("{ke} yürütme sırasında oluştu.")

WARNING: Beklenmeyen satır sayısı tespit edildi.
ERROR: KeyError yürütme sırasında oluştu.

try-except ile istisnaları ele alma

try:
    # Burada bazı kodları çalıştırın
    ...

except:
    # Oluşan hatalar hakkında günlükleme
    # İstisna durumunda çalışacak mantık
    ...

Hata oluşursa kod yürütmek için bir yol sağlar

try-except ile belirli istisnaları ele alma

Belirli istisnayı except bölümünde geçin

try:
    # price_change ile filtrelemeyi deneyin
    clean_stock_data = transform(raw_stock_data)
    logging.info("'price_change' ile DataFrame başarıyla filtrelendi")

except KeyError as ke:
    # Hatayı ele alın, yeni sütun oluşturun, dönüştürün
    logging.warning(f"{ke}: DataFrame 'price_change' ile filtrelenemiyor")
    raw_stock_data["price_change"] = raw_stock_data["close"] - raw_stock_data["open"]
    clean_stock_data = transform(raw_stock_data)

Hadi pratik yapalım!

Python ile ETL ve ELT