Extracción de datos no tabulares

ETL y ELT en Python

Jake Roach

Data Engineer

Extracción de datos no tabulares

Canalización ETL con el componente de extracción resaltado.

Tipos de datos no tabulares

La mayoría de los datos producidos y consumidos son no estructurados

Texto
Audio
Imagen
Vídeo
Espaciales
IoT

Fuentes de datos no estructurados en transformación.

¹ https://mitsloan.mit.edu/ideas-made-to-matter/tapping-power-unstructured-data

Trabajar con APIs y datos JSON

API (Application Programming Interface)

Software que se sitúa sobre las fuentes de datos
Evita la interacción directa con la base de datos

Ingeniero/a de datos usando una API para interactuar con una base de datos.

JSON (JavaScript Object Notation)

Pares clave-valor
Sin esquema fijo
Se parece a los dictionarios

{
    "key": "value",
    ...
    "open": 0.121875
}

Leer archivos JSON con pandas

{
    "timestamps": [863703000, 863789400, ...],
    "open": [0.121875, 0.098438, ...],
    "close": [...],
    "volume": [...]
}

Usa la función .read_json()

# Lee un archivo JSON con el formato anterior
raw_stock_data = pd.read_json("raw_stock_data.json", orient="columns")

¹ https://pandas.pydata.org/docs/reference/api/pandas.read_json.html

JSON anidado o no estructurado

Los datos no siempre están listos para DataFrame

Objetos anidados
«Esquema» variable

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    }, 
    "863789400": {
        ...
    }, ...
}

Leer archivos JSON con json

import json

with open("raw_stock_data.json", "r") as file:
    # Carga el archivo en un diccionario
    raw_stock_data = json.load(file)

# Confirma el tipo de la variable raw_stock_data
print(type(raw_stock_data))

<class 'dict'>

¡Vamos a practicar!

ETL y ELT en Python