Mettre à l'essai manuellement un pipeline de données

ETL et ELT en Python

Jake Roach

Data Engineer

Mettre à l'essai des pipelines de données

Les pipelines de données doivent être rigoureusement testés

Valider l'extraction, la transformation et le chargement selon les attentes

Valider les pipelines réduit l'entretien après le déploiement

Repérer et corriger les problèmes de qualité des données
Améliorer la fiabilité des données

Outils et techniques pour tester les pipelines de données

Tests de bout en bout
Validation aux « points de contrôle »
Tests unitaires

Environnements de test et de production

Environnements de test et de production pour créer et exécuter des pipelines de données.

Tester un pipeline de bout en bout

Test de bout en bout d'un pipeline de données.

Tests de bout en bout

Confirmer que le pipeline s'exécute à répétition
Valider les données aux points de contrôle
Faire une révision par les pairs et intégrer les commentaires
Assurer l'accès des consommateurs et leur satisfaction

Valider les points de contrôle du pipeline

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                              
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

Valider des DataFrames

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

Passons à la pratique !

ETL et ELT en Python