Transformar datos con pandas

ETL y ELT en Python

Jake Roach

Data Engineer

Transformar datos en una canalización

Los datos deben transformarse bien para aportar valor a quienes los usan después

Un flujo de trabajo de transformación de datos.

pandas ofrece potentes herramientas para transformar datos tabulares

.loc[]
.to_datetime()

Filtrar registros con .loc[]

.loc[] permite transformar ambas dimensiones de un DataFrame

# Conservar solo entradas no nulas
cleaned = raw_stock_data.loc[raw_stock_data["open"] > 0, :]

# Quitar columnas sobrantes
cleaned = raw_stock_data.loc[:, ["timestamps", "open", "close"]]

# Combinar en un solo paso
cleaned = raw_stock_data.loc[raw_stock_data["open"] > 0, ["timestamps", "open", "close"]]

.iloc[] usa indexación entera para filtrar DataFrames

cleaned = raw_stock_data.iloc[[0:50], [0, 1, 2]]

Modificar tipos de datos

A menudo hay que convertir tipos de datos para usos posteriores

.to_datetime()

# La columna "timestamps" ahora es: "20230101085731"
# Convertir la columna "timestamps" a tipo datetime
cleaned["timestamps"] = pd.to_datetime(cleaned["timestamps"], format="%Y%m%d%H%M%S")

Timestamp('2023-01-01 08:57:31')

# La columna "timestamps" ahora es: 1681596000011
# Convertir la columna "timestamps" a tipo datetime
cleaned["timestamps"] = pd.to_datetime(cleaned["timestamps"], unit="ms")

Timestamp('2023-04-15 22:00:00.011000')

Validar transformaciones

Transformar datos conlleva riesgos:

Pérdida de información
Crear datos erróneos

# Varias formas de investigar un DataFrame
cleaned = raw_stock_data.loc[raw_stock_data["open"] > 0, ["timestamps", "open", "close"]]
print(cleaned.head())

# Devolver los registros más pequeños y más grandes
print(cleaned.nsmallest(10, ["timestamps"]))
print(cleaned.nlargest(10, ["timestamps"]))

¡Vamos a practicar!

ETL y ELT en Python