Nicht-tabellarische Daten transformieren

ETL und ELT in Python

Jake Roach

Data Engineer

Nicht-tabellarische Daten transformieren

ETL-Pipeline mit hervorgehobener Transformationskomponente.

Daten in Dictionaries speichern

Verschachteltes JSON

{
    "863703000": {
        "price": {
            "open": 0.12187,
            "close": 0.09791
        },
        "volume": 1443120000
    }, 
    "863789400": {
    }, ...
}

Ziel:

Wörterbuch in ein DataFrame-taugliches Format umwandeln

[
    [863703000, 0.12187, 0.09791, 1443120000],
    [863789400, 0.09843, ...]
]

Über Dictionary-Bestandteile iterieren

# Über Schlüssel iterieren
for key in raw_data.keys():
    ...

# Über Werte iterieren
for value in raw_data.values():
    ...

# Über Schlüssel und Werte iterieren
for key, value in raw_data.items():
    ...

.keys()

Erstellt eine Liste der in einem Dictionary gespeicherten Schlüssel

.values()

Erstellt eine Liste der in einem Dictionary gespeicherten Werte

.items()

Erzeugt eine Liste von Tupeln aus Schlüssel-Wert-Paaren

Daten aus Dictionaries parsen

entry = {
    "volume": 1443120000,
    "price": {
        "open": 0.12187,
        "close": 0.09791,
    }
}

# Daten mit .get() aus dem Dictionary parsen
volume = entry.get("volume")

ticker = entry.get("ticker", "DCMP")

# .get() zweimal aufrufen, um den verschachtelten Wert "open" zu erhalten
open_price = entry.get("price").get("open", 0)

Ein DataFrame aus einer Liste von Listen erstellen

Übergebe eine Liste von Listen an pd.DataFrame()

# Liste von Listen an pd.DataFrame übergeben
raw_data = pd.DataFrame(flattened_rows)

Spaltenüberschriften mit .columns setzen

# Spalten erstellen
raw_data.columns = ["timestamps", "open", "close", "volume"]

Einen Index mit .set_index() setzen

# Die Indexspalte auf "timestamps" setzen
raw_data.set_index("timestamps")

Aktienkursdaten transformieren

parsed_stock_data = []

# Über jedes Schlüssel-Wert-Paar im Dictionary raw_stock_data iterieren
for timestamp, ticker_info in raw_stock_data.items():
    parsed_stock_data.append([
        timestamp,
        ticker_info.get("price", {}).get("open", 0),  # Eröffnungskurs parsen
        ticker_info.get("price", {}).get("close", 0),  # Schlusskurs parsen
        ticker_info.get("volume", 0)  # Volumen parsen
    ])

# DataFrame erstellen, Spaltennamen zuweisen und Index setzen
transformed_stock_data = pd.DataFrame(parsed_stock_data)
transformed_stock_data.columns = ["timestamps", "open", "close", "volume"]
transformed_stock_data = transformed_stock_data.set_index("timestamps")

Lass uns üben!

ETL und ELT in Python