Prueba manual de un pipeline de datos

ETL y ELT en Python

Jake Roach

Data Engineer

Pruebas de pipelines de datos

Hay que probar a fondo los pipelines de datos

Valida que los datos se extraen, transforman y cargan como se espera

Validar los pipelines reduce el mantenimiento tras el despliegue

Detecta y corrige problemas de calidad de datos
Mejora la fiabilidad de los datos

Herramientas y técnicas para probar pipelines de datos

Pruebas de extremo a extremo
Validación de datos en «checkpoints»
Pruebas unitarias

Entornos de prueba y producción

Entornos de prueba y de producción para crear y ejecutar pipelines de datos.

Probar un pipeline de extremo a extremo

Pruebas de extremo a extremo de un pipeline de datos.

Pruebas de extremo a extremo

Confirma que el pipeline se ejecuta en intentos repetidos
Valida datos en checkpoints del pipeline
Aplica revisión por pares e incorpora feedback
Garantiza acceso del consumidor y satisfacción con la solución

Validar checkpoints del pipeline

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

Validar DataFrames

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

¡Vamos a practicar!

ETL y ELT en Python