Cargar datos en una base de datos SQL con pandas

ETL y ELT en Python

Jake Roach

Data Engineer

Carga datos en una base de datos SQL con pandas

Canal ETL con el componente de carga resaltado.

Cargar datos en una base de datos SQL con pandas

Consumidores de datos accediendo a una base de datos SQL.

pandas ofrece .to_sql() para guardar datos en SQL

name
con
if_exists
index
index_label

Persistir datos en Postgres con pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Validar la persistencia de datos con pandas

Es importante validar que los datos se guarden como se espera.

Asegura que se puedan consultar
Comprueba que los conteos coinciden
Valida que cada fila esté presente

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

¡Vamos a practicar!

ETL y ELT en Python