Conserver des données avec pandas

ETL et ELT en Python

Jake Roach

Data Engineer

Conserver des données dans un pipeline ETL

Charger des données vers un fichier :

Assure aux utilisateurs de données un accès stable aux données transformées
Se fait en étape finale d'un ETL, et aussi entre des étapes distinctes
Capture un « instantané » des données

Charger des données vers des fichiers CSV avec pandas

Méthode .to_csv()

import pandas as pd

# Extraction et transformation des données
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Charger les données vers un fichier .csv
stock_data.to_csv("stock_data.csv")

.to_csv appelée sur le DataFrame
Écrit le DataFrame au chemin "stock_data.csv"

Personnaliser la sortie CSV

stock_data.to_csv("./stock_data.csv", header=True)

Accepte True, False ou une liste de chaînes

stock_data.to_csv("./stock_data.csv", index=True)

Accepte True ou False
Indique si la colonne index est écrite dans le fichier

stock_data.to_csv("./stock_data.csv", sep="|")

Accepte la chaîne utilisée pour séparer les colonnes dans le fichier
Le caractère | est une option fréquente

A des équivalents :

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

Vérifier la persistance des données

Le DataFrame a-t-il été bien enregistré dans le fichier CSV ?

import pandas
import os  # Import the os module

# Extraire, transformer et charger les données
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Vérifier que le chemin existe
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

Passons à la pratique !

ETL et ELT en Python