Memuat data ke database SQL dengan pandas

ETL dan ELT di Python

Jake Roach

Data Engineer

Muat data ke database SQL dengan pandas

Pipa ETL dengan komponen load disorot.

Memuat data ke database SQL dengan pandas

Konsumen data mengakses database SQL.

pandas menyediakan .to_sql() untuk menyimpan data ke SQL

name
con
if_exists
index
index_label

Menyimpan data ke Postgres dengan pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Memvalidasi penyimpanan data dengan pandas

Penting untuk memvalidasi bahwa data tersimpan sesuai harapan.

Pastikan data bisa diquery
Cocokkan jumlah baris
Validasi setiap baris ada

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

Ayo berlatih!

ETL dan ELT di Python