Caricare dati in un database SQL con pandas

ETL and ELT in Python

Jake Roach

Data Engineer

Caricare dati in un database SQL con pandas

Pipeline ETL con il componente di caricamento evidenziato.

Caricare dati in un database SQL con pandas

Consumer di dati che accedono a un database SQL.

pandas offre .to_sql() per salvare i dati in SQL

name
con
if_exists
index
index_label

Salvare dati su Postgres con pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Verificare la persistenza dei dati con pandas

È importante verificare che i dati siano stati salvati correttamente.

Verifica che i dati siano interrogabili
Controlla che i conteggi coincidano
Controlla che ogni riga sia presente

# Recupera i dati scritti nella tabella SQL
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Verifica conteggi, uguaglianza dei record, ecc.
...

Esercitiamoci!

ETL and ELT in Python