Tebrikler!

Python ile ETL ve ELT

Jake Roach

Data Engineer

Veri hatları tasarlama ve kurma

$$

  • Sağlam veri hatları tasarlama
  • Extract, transform, and load mimarisi
  • İstisna yönetimi ve günlükleme

Bir ETL hattı.

Python ile ETL ve ELT

İleri ETL teknikleri

$$

  • İç içe JSON ile çalışma
  • İleri dönüşüm mantığı
  • Veriyi SQL veritabanlarına kalıcı yazma

$$

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    },
    ...
}
Python ile ETL ve ELT

Veri hatlarını dağıtma ve sürdürme

$$

  • Veri hatlarını doğrulama ve test etme
  • Bir hattı üretimde çalıştırma
  • Orkestrasyon araçları

Doğrulanmış bir veri hattı.

Python ile ETL ve ELT

Sıradaki adımlar

$$

Airflow, Astronomer ve Snowflake logoları.

  • Apache Airflow
  • Astronomer
  • Snowflake
Python ile ETL ve ELT

Teşekkürler!

Python ile ETL ve ELT

Preparing Video For Download...