Testarea manuală a unui pipeline de date

ETL și ELT în Python

Jake Roach

Data Engineer

Testarea pipeline-urilor de date

Pipeline-urile de date trebuie testate temeinic

Validează că datele sunt extrase, transformate și încărcate corect

Validarea pipeline-urilor reduce efortul de întreținere după lansare

Identifică și corectează problemele de calitate a datelor
Îmbunătățește fiabilitatea datelor

Instrumente și tehnici pentru testarea pipeline-urilor de date

Testare end-to-end
Validarea datelor la "puncte de control"
Testare unitară

Medii de testare și producție

Medii de testare și producție pentru construirea și rularea pipeline-urilor de date.

Testarea end-to-end a unui pipeline

Testare end-to-end a unui pipeline de date.

Testare end-to-end

Confirmă că pipeline-ul rulează corect la încercări repetate
Validează datele la punctele de control ale pipeline-ului
Participă la recenzii colegiale și integrează feedback-ul
Asigură accesul și satisfacția utilizatorilor față de soluție

Validarea punctelor de control ale pipeline-ului

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

Validarea DataFrames

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

Hai să exersăm!

ETL și ELT în Python