Tebrikler!

Python ile ETL ve ELT

Jake Roach

Data Engineer

Veri boru hatları tasarlama ve kurma

$$

  • Sağlam veri boru hatları tasarlama
  • Extract, transform, and load mimarisi
  • İstisna yönetimi ve günlükleme

Bir ETL boru hattı.

Python ile ETL ve ELT

İleri ETL teknikleri

$$

  • İç içe JSON’ları işleme
  • İleri dönüşüm mantığı
  • Veriyi SQL veritabanlarına kalıcı yazma

$$

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    },
    ...
}
Python ile ETL ve ELT

Veri boru hatlarını dağıtma ve sürdürme

$$

  • Veri boru hatlarını doğrulama ve test etme
  • Üretimde bir boru hattı çalıştırma
  • Orkestrasyon araçları

Doğrulanmış bir veri boru hattı.

Python ile ETL ve ELT

Sonraki adımlar

$$

Airflow, Astronomer ve Snowflake logoları.

  • Apache Airflow
  • Astronomer
  • Snowflake
Python ile ETL ve ELT

Teşekkürler!

Python ile ETL ve ELT

Preparing Video For Download...