Data-inname

Forecasting-pijplijnen ontwerpen voor productie

Rami Krispin

Senior Manager, Data Science and Engineering

ETL-proces

ETL-proces - bron

Proces voor data-inname

ETL-proces - extractie

Proces voor data-inname

ETL-proces - transformatie

Proces voor data-inname

ETL-proces - laden

Proces voor data-inname

ETL-proces - datavalidatie

Proces voor data-inname

ETL-proces - dataintegriteit

Proces voor data-inname

ETL-proces - logging

Proces voor data-inname

ETL-proces - verversen

Proces voor data-inname

ETL-proces - verversen

Proces voor data-inname

ETL-proces - verversen

Proces voor data-inname

ETL-proces - verversen

Proces voor data-inname

ETL-proces - nieuwe pipeline starten

Proces voor data-inname

ETL-proces - genormaliseerde data bijwerken

Proces voor data-inname

ETL-proces - datapariteitscontrole

API-controle taak

ETL-proces - metadata

Datastatus-taak

ETL-proces - data verversen

Data-verversingstaak

ETL-proces - datavalidatie

Datavalidatie-taak

ETL-proces - data-analyse

Taak datavalidatie analyseren

ETL-proces - data toevoegen

Taak data toevoegen

ETL-proces - voorspelling verversen

Taak voorspelling verversen

ETL-proces - voorspelling evalueren

Taak voorspelling scoren

ETL-proces - geen update

Validatietaak

ETL-proces - verversen mislukt

Validatietaak

ETL-proces - validatie mislukt

Validatietaak

Checks voor datavalidatie

Dataschema
Waardenbereik
Missende waarden
Duplicaten
Businesslogica

Checks voor datavalidatie

print(raw)

period    respondent    respondent-name    type    type-name    value    value-units
0    2025-05-01 00:00:00    US48    United States Lower 48    D    Demand    504242    
1    2025-04-30 23:00:00    US48    United States Lower 48    D    Demand    508099    
2    2025-04-30 22:00:00    US48    United States Lower 48    D    Demand    508323    
3    2025-04-30 21:00:00    US48    United States Lower 48    D    Demand    500551    
4    2025-04-30 20:00:00    US48    United States Lower 48    D    Demand    492240

Checks voor datavalidatie

import pointblank as pb

table_schema =  pb.Schema(
    columns=[
        ("index", "datetime64[ns]"),   
        ("respondent", "object"),
        ("respondent-name", "object"),
        ("type", "object"),
        ("type-name", "object"),
        ("value", "int64"),
        ("value-units", "object")
    ]
    )

Checks voor datavalidatie

validation = (pb.Validate(data=raw,
              tbl_name="US48 Data Validation",
              label="Data Refresh",
              thresholds=pb.Thresholds(warning=0.2, error=0, critical=0.1))

.col_schema_match(schema=table_schema)

.col_vals_gt(columns="value", value=0)

.col_vals_in_set(columns="respondent", set = ["US48"])
.col_vals_in_set(columns="type", set = ["D"])

.col_vals_not_null(columns=["period", "value"])

.rows_distinct()

.interrogate())

Checks voor datavalidatie

Datavalidatie

Checks voor datavalidatie

print(validation.all_passed())

True

Laten we oefenen!

Forecasting-pijplijnen ontwerpen voor productie