Daten mit pandas in eine SQL-Datenbank laden

ETL und ELT mit Python

Jake Roach

Data Engineer

Daten mit pandas in eine SQL-Datenbank laden

ETL-Pipeline mit hervorgehobener Load-Komponente.

Daten mit pandas in eine SQL-Datenbank laden

Datenkonsumenten greifen auf eine SQL-Datenbank zu.

pandas bietet .to_sql(), um Daten in SQL zu speichern

name
con
if_exists
index
index_label

Daten mit pandas in Postgres speichern

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Datenpersistenz mit pandas validieren

Es ist wichtig zu prüfen, ob Daten wie erwartet gespeichert wurden.

Sicherstellen, dass Daten abfragbar sind
Prüfen, dass die Anzahlen stimmen
Validieren, dass jede Zeile vorhanden ist

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

Lass uns üben!

ETL und ELT mit Python