Extrahera icke-tabulär data

ETL och ELT i Python

Jake Roach

Data Engineer

Extrahera icke-tabulär data

ETL-pipeline med extraheringskomponenten markerad.

Typer av icke-tabulär data

Det mesta av data som skapas och används är ostrukturerad data

Text
Ljud
Bild
Video
Rumslig
IoT

Ostrukturerade datakällor som genomgår transformation.

¹ https://mitsloan.mit.edu/ideas-made-to-matter/tapping-power-unstructured-data

Arbeta med API:er och JSON-data

API (Application Programming Interface)

Programvara som ligger ovanpå datakällor
Förhindrar direkt interaktion med databasen

Dataingenjör som använder ett API för att interagera med en databas.

JSON (JavaScript Object Notation)

Nyckel-värde-par
Inget fastställt schema
Ser ut och känns som dict-objekt

{
    "key": "value",
    ...
    "open": 0.121875
}

Läsa JSON-filer med pandas

{
    "timestamps": [863703000, 863789400, ...],
    "open": [0.121875, 0.098438, ...],
    "close": [...],
    "volume": [...]
}

Använd funktionen .read_json()

# Read in a JSON file in the format above
raw_stock_data = pd.read_json("raw_stock_data.json", orient="columns")

¹ https://pandas.pydata.org/docs/reference/api/pandas.read_json.html

Nästlad eller ostrukturerad JSON-data

Data är inte alltid redo för en DataFrame

Nästlade objekt
Varierande "schema"

{
    "863703000": {
        "volume": 1443120000,
        "price": {
            "close": 0.09791,
            "open": 0.12187
        }
    }, 
    "863789400": {
        ...
    }, ...
}

Läsa JSON-filer med json

import json

with open("raw_stock_data.json", "r") as file:
    # Load the file into a dictionary
    raw_stock_data = json.load(file)

# Confirm the type of the raw_stock_data variable
print(type(raw_stock_data))

<class 'dict'>

Nu kör vi en övning!

ETL och ELT i Python