Transformar datos no tabulares
ETL y ELT en Python
Jake Roach
Data Engineer
Transformar datos no tabulares
Almacenar datos en diccionarios
JSON anidado
{
"863703000": {
"price": {
"open": 0.12187,
"close": 0.09791
},
"volume": 1443120000
},
"863789400": {
}, ...
}
Objetivo:
- Convertir el diccionario a un formato apto para DataFrame
$$
[
[863703000, 0.12187, 0.09791, 1443120000],
[863789400, 0.09843, ...]
]
Iterar sobre componentes de un diccionario
# Recorrer las claves
for key in raw_data.keys():
...
# Recorrer los valores
for value in raw_data.values():
...
# Recorrer claves y valores
for key, value in raw_data.items():
...
.keys()
- Crea una lista con las claves de un diccionario
.values()
- Crea una lista con los valores de un diccionario
.items()
- Genera una lista de tuplas con los pares clave-valor
Analizar datos desde diccionarios
entry = {
"volume": 1443120000,
"price": {
"open": 0.12187,
"close": 0.09791,
}
}
# Extraer datos del diccionario usando .get()
volume = entry.get("volume")
ticker = entry.get("ticker", "DCMP")
# Llama a .get() dos veces para devolver el valor anidado "open"
open_price = entry.get("price").get("open", 0)
Crear un DataFrame a partir de una lista de listas
Pasa una lista de listas a pd.DataFrame()
# Pasar una lista de listas a pd.DataFrame
raw_data = pd.DataFrame(flattened_rows)
Define los encabezados con .columns
# Crear columnas
raw_data.columns = ["timestamps", "open", "close", "volume"]
Define un índice con .set_index()
# Establecer la columna de índice como "timestamps"
raw_data.set_index("timestamps")
Transformar datos bursátiles
parsed_stock_data = []
# Recorre cada par clave-valor del diccionario raw_stock_data
for timestamp, ticker_info in raw_stock_data.items():
parsed_stock_data.append([
timestamp,
ticker_info.get("price", {}).get("open", 0), # Precio de apertura
ticker_info.get("price", {}).get("close", 0), # Precio de cierre
ticker_info.get("volume", 0) # Volumen
])
# Crea un DataFrame, asigna nombres de columnas y define un índice
transformed_stock_data = pd.DataFrame(parsed_stock_data)
transformed_stock_data.columns = ["timestamps", "open", "close", "volume"]
transformed_stock_data = transformed_stock_data.set_index("timestamps")
¡Vamos a practicar!
ETL y ELT en Python
