Daten mit pandas in eine SQL-Datenbank laden

ETL und ELT in Python

Jake Roach

Data Engineer

Daten mit pandas in eine SQL-Datenbank laden

ETL-Pipeline mit hervorgehobener Load-Komponente.

Daten mit pandas in eine SQL-Datenbank laden

Datenkonsument:innen greifen auf eine SQL-Datenbank zu.

pandas stellt .to_sql() bereit, um Daten in SQL zu speichern

name
con
if_exists
index
index_label

Daten mit pandas in Postgres speichern

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Dauerhafte Datenspeicherung mit pandas validieren

Es ist wichtig zu prüfen, dass Daten wie erwartet gespeichert wurden.

Sicherstellen, dass Daten abgefragt werden können
Prüfen, ob die Anzahlen übereinstimmen
Validieren, dass jede Zeile vorhanden ist

# Daten aus der SQL-Tabelle ziehen
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Anzahlen, Datensatzgleichheit usw. validieren
...

Lass uns üben!

ETL und ELT in Python