Persistarea datelor cu pandas

ETL și ELT în Python

Jake Roach

Data Engineer

Persistarea datelor într-un pipeline ETL

Încărcarea datelor într-un fișier:

Asigură acces stabil la datele transformate pentru consumatori
Apare ca pas final într-un proces ETL, dar și între pașii intermediari
Captează un „instantaneu" al datelor

Încărcarea datelor în fișiere CSV cu pandas

Metoda .to_csv()

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

.to_csv apelat pe DataFrame
Scrie DataFrame-ul în fișierul "stock_data.csv"

Personalizarea fișierului CSV de ieșire

stock_data.to_csv("./stock_data.csv", header=True)

Acceptă True, False sau o listă de valori de tip string

stock_data.to_csv("./stock_data.csv", index=True)

Acceptă True sau False
Determină dacă coloana index este scrisă în fișier

stock_data.to_csv("./stock_data.csv", sep="|")

Acceptă o valoare string folosită pentru a separa coloanele în fișier
Caracterul | este o opțiune frecventă

Are echivalente:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

Asigurarea persistenței datelor

A fost DataFrame-ul stocat corect în fișierul CSV?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

Hai să exersăm!

ETL și ELT în Python