Ladda data till en SQL-databas med pandas

ETL och ELT i Python

Jake Roach

Data Engineer

Ladda data till en SQL-databas med pandas

ETL-pipeline med laddningskomponenten markerad.

Ladda data till en SQL-databas med pandas

Datakonsumenter som använder en SQL-databas.

pandas tillhandahåller .to_sql() för att spara data till SQL

name
con
if_exists
index
index_label

Spara data till Postgres med pandas

# Skapa ett anslutningsobjekt
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Använd .to_sql()-metoden för att spara data till SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Validera datapersistens med pandas

Det är viktigt att validera att data sparas som förväntat.

Se till att data kan frågas
Kontrollera att antalet stämmer
Validera att varje rad finns

# Hämta data som skrivits till SQL-tabellen
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validera antal, radlikhet osv.
...

Nu kör vi en övning!

ETL och ELT i Python