Veri alımı

Üretim için Tahmin (Forecasting) Hatları Tasarlama

Rami Krispin

Senior Manager, Data Science and Engineering

ETL süreci

ETL Süreci

ETL süreci - kaynak

Veri Alım Süreci

ETL süreci - çıkarma

Veri Alım Süreci

ETL süreci - dönüştürme

Veri Alım Süreci

ETL süreci - yükleme

Veri Alım Süreci

ETL süreci - veri doğrulama

Veri Alım Süreci

ETL süreci - veri bütünlüğü

Veri Alım Süreci

ETL süreci - günlükleme

Veri Alım Süreci

ETL süreci - yenileme

Veri Alım Süreci

ETL süreci - yenileme

Veri Alım Süreci

ETL süreci - yenileme

Veri Alım Süreci

ETL süreci - yenileme

Veri Alım Süreci

ETL süreci - yeni bir hattı tetikleme

Veri Alım Süreci

ETL süreci - normalize veriyi güncelleme

Veri Alım Süreci

ETL süreci - veri eşliği kontrolü

API Görevini Kontrol Et

ETL süreci - meta veriler

Veri Durumu Görevi

ETL süreci - veri yenileme

Veri Yenileme Görevi

ETL süreci - veri doğrulama

Veri Doğrulama Görevi

ETL süreci - veri analizi

Veri Doğrulamayı Analiz Et Görevi

ETL süreci - veriyi ekleme

Veriyi Ekle Görevi

ETL süreci - tahmin yenileme

Tahmini Yenile Görevi

ETL süreci - tahmin değerlendirme

Tahmini Puanla Görevi

ETL süreci - güncelleme yok

Doğrulama Görevi

ETL süreci - yenileme hatası

Doğrulama Görevi

ETL süreci - doğrulama hatası

Doğrulama Görevi

Veri doğrulama kontrolleri

Veri şeması
Değer aralığı
Eksik değerler
Çoğaltmalar
İş kuralları

Veri doğrulama kontrolleri

print(raw)

period    respondent    respondent-name    type    type-name    value    value-units
0    2025-05-01 00:00:00    US48    United States Lower 48    D    Demand    504242    
1    2025-04-30 23:00:00    US48    United States Lower 48    D    Demand    508099    
2    2025-04-30 22:00:00    US48    United States Lower 48    D    Demand    508323    
3    2025-04-30 21:00:00    US48    United States Lower 48    D    Demand    500551    
4    2025-04-30 20:00:00    US48    United States Lower 48    D    Demand    492240

Veri doğrulama kontrolleri

import pointblank as pb

table_schema =  pb.Schema(
    columns=[
        ("index", "datetime64[ns]"),   
        ("respondent", "object"),
        ("respondent-name", "object"),
        ("type", "object"),
        ("type-name", "object"),
        ("value", "int64"),
        ("value-units", "object")
    ]
    )

Veri doğrulama kontrolleri

validation = (pb.Validate(data=raw,
              tbl_name="US48 Data Validation",
              label="Data Refresh",
              thresholds=pb.Thresholds(warning=0.2, error=0, critical=0.1))

.col_schema_match(schema=table_schema)

.col_vals_gt(columns="value", value=0)

.col_vals_in_set(columns="respondent", set = ["US48"])
.col_vals_in_set(columns="type", set = ["D"])

.col_vals_not_null(columns=["period", "value"])

.rows_distinct()

.interrogate())

Veri doğrulama kontrolleri

Veri Doğrulama

Veri doğrulama kontrolleri

print(validation.all_passed())

True

Vamos praticar!

Üretim için Tahmin (Forecasting) Hatları Tasarlama