Gegevens laden naar een SQL-database met pandas

ETL en ELT in Python

Jake Roach

Data Engineer

Data laden naar een SQL-database met pandas

ETL-pijplijn met de laadstap gemarkeerd.

Data laden in een SQL-database met pandas

Datagebruikers die een SQL-database benaderen.

pandas biedt .to_sql() om data naar SQL te schrijven

name
con
if_exists
index
index_label

Data opslaan in Postgres met pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Validatie van databehoud met pandas

Het is belangrijk te controleren dat data is opgeslagen zoals verwacht.

Check of je kunt query'en
Kijk of aantallen kloppen
Controleer dat elke rij aanwezig is

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

Laten we oefenen!

ETL en ELT in Python