Ukládání dat pomocí pandas

ETL a ELT v Pythonu

Jake Roach

Data Engineer

Trvalé ukládání dat v ETL pipeline

Načítání dat do souboru:

Zajišťuje stabilní přístup příjemců k transformovaným datům
Probíhá jako závěrečný krok ETL procesu, ale také mezi jednotlivými kroky
Zachycuje „snímek" dat

Načítání dat do CSV souborů pomocí pandas

Metoda .to_csv()

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

.to_csv se volá na DataFrame
Zapíše DataFrame do souboru "stock_data.csv"

Přizpůsobení výstupu CSV souboru

stock_data.to_csv("./stock_data.csv", header=True)

Přijímá hodnoty True, False nebo seznam řetězců

stock_data.to_csv("./stock_data.csv", index=True)

Přijímá hodnoty True nebo False
Určuje, zda je sloupec index zapsán do souboru

stock_data.to_csv("./stock_data.csv", sep="|")

Přijímá řetězec použitý jako oddělovač sloupců v souboru
Znak | je běžnou volbou

Má obdoby:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

Ověření trvalého uložení dat

Byl DataFrame správně uložen do souboru CSV?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

Pojďme si procvičit!

ETL a ELT v Pythonu