Eine Datenpipeline manuell testen

ETL und ELT in Python

Jake Roach

Data Engineer

Datenpipelines testen

Datenpipelines sollten gründlich getestet werden

Prüfe, dass Daten wie erwartet extrahiert, transformiert und geladen werden

Validierung von Pipelines reduziert Wartungsaufwand nach dem Deployment

Datenqualitätsprobleme finden und beheben
Verbessert die Datenzuverlässigkeit

Tools und Techniken zum Testen von Datenpipelines

End-to-End-Tests
Validierung an „Checkpoints"
Unit-Tests

Test- und Produktionsumgebungen

Test- und Produktionsumgebungen zum Erstellen und Ausführen von Datenpipelines.

Eine Pipeline End-to-End testen

End-to-End-Test einer Datenpipeline.

End-to-End-Tests

Bestätige, dass die Pipeline wiederholt zuverlässig läuft
Validiere Daten an Pipeline-Checkpoints
Peer-Review durchführen, Feedback einarbeiten
Sicherstellen, dass Konsument:innen Zugang haben und zufrieden sind

Pipeline-Checkpoints validieren

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

DataFrames validieren

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

Lass uns üben!

ETL und ELT in Python