Charger des données dans une base SQL avec pandas

ETL et ELT en Python

Jake Roach

Data Engineer

Charger des données dans une base SQL avec pandas

Chaîne ETL avec l'étape de chargement en surbrillance.

Charger des données dans une base SQL avec pandas

Consommateurs de données accédant à une base SQL.

pandas offre .to_sql() pour enregistrer des données dans SQL

name
con
if_exists
index
index_label

Enregistrer des données dans Postgres avec pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Valider la persistance des données avec pandas

Il est essentiel de valider que les données sont bien enregistrées.

Vérifier que les données se consultent
Confirmer que les décomptes correspondent
Valider que chaque ligne est présente

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

Passons à la pratique !

ETL et ELT en Python