Nạp dữ liệu vào cơ sở dữ liệu SQL với pandas

ETL và ELT với Python

Jake Roach

Data Engineer

Load dữ liệu vào cơ sở dữ liệu SQL với pandas

Chu trình ETL với phần load được làm nổi bật.

Nạp dữ liệu vào cơ sở dữ liệu SQL với pandas

Người dùng dữ liệu truy cập cơ sở dữ liệu SQL.

pandas có .to_sql() để lưu dữ liệu vào SQL

name
con
if_exists
index
index_label

Lưu dữ liệu vào Postgres với pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Xác thực việc lưu dữ liệu với pandas

Cần xác thực rằng dữ liệu đã được lưu đúng như mong đợi.

Đảm bảo có thể truy vấn dữ liệu
Đối chiếu số lượng bản ghi
Xác nhận mỗi hàng đều có mặt

# Lấy dữ liệu đã ghi vào bảng SQL
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Kiểm tra số lượng, đối chiếu bản ghi, v.v.
...

Cùng luyện tập nào!

ETL và ELT với Python