Daten mit pandas speichern

ETL und ELT in Python

Jake Roach

Data Engineer

Daten in einer ETL-Pipeline speichern

Daten in eine Datei laden:

Sichert stabilen Zugriff auf transformierte Daten für Nutzende
Passiert als letzter Schritt in ETL, sowie zwischen einzelnen Schritten
Hält einen „Schnappschuss" der Daten fest

Daten mit pandas in CSV-Dateien laden

Methode .to_csv()

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

.to_csv auf dem DataFrame aufgerufen
Schreibt den DataFrame an den Pfad "stock_data.csv"

CSV-Ausgabe anpassen

stock_data.to_csv("./stock_data.csv", header=True)

Nimmt True, False oder eine Liste von Strings

stock_data.to_csv("./stock_data.csv", index=True)

Nimmt True oder False
Legt fest, ob die index-Spalte in die Datei geschrieben wird

stock_data.to_csv("./stock_data.csv", sep="|")

Nimmt den String, der die Spalten in der Datei trennt
Das Zeichen | ist eine gängige Option

Hat Entsprechungen:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

Datenpersistenz sicherstellen

Wurde der DataFrame korrekt in die CSV-Datei gespeichert?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

Lass uns üben!

ETL und ELT in Python