Extrakce netabulárních dat

ETL a ELT v Pythonu

Jake Roach

Data Engineer

Extrakce netabulárních dat

ETL pipeline se zvýrazněnou komponentou extract.

Typy netabulárních dat

Většina vznikajících a spotřebovávaných dat je nestrukturovaných

Text
Audio
Obrázky
Video
Prostorová data
IoT

Zdroje nestrukturovaných dat procházejí transformací.

¹ https://mitsloan.mit.edu/ideas-made-to-matter/tapping-power-unstructured-data

Práce s API a JSON daty

API (Application Programming Interface)

Software nad datovými zdroji
Brání přímé interakci s databází

Data engineer používá API k práci s databází.

JSON (JavaScript Object Notation)

Páry klíč–hodnota
Bez pevného schématu
Vzhled a chování podobné dictům

{
    "key": "value",
    ...
    "open": 0.121875
}

Čtení JSON souborů s `pandas`

{
    "timestamps": [863703000, 863789400, ...],
    "open": [0.121875, 0.098438, ...],
    "close": [...],
    "volume": [...]
}

Použij funkci .read_json()

# Read in a JSON file in the format above
raw_stock_data = pd.read_json("raw_stock_data.json", orient="columns")

¹ https://pandas.pydata.org/docs/reference/api/pandas.read_json.html

Vnořená nebo nestrukturovaná JSON data

Data nejsou vždy připravena pro DataFrame

Vnořené objekty
Proměnlivé „schéma“

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    }, 
    "863789400": {
        ...
    }, ...
}

Čtení JSON souborů s `json`

import json

with open("raw_stock_data.json", "r") as file:
    # Load the file into a dictionary
    raw_stock_data = json.load(file)

# Confirm the type of the raw_stock_data variable
print(type(raw_stock_data))

<class 'dict'>

Pojďme si to vyzkoušet!

ETL a ELT v Pythonu