pandas を使って SQL データベースにデータをロードする

Python で学ぶ ETL と ELT

Jake Roach

Data Engineer

pandas を使って SQL データベースにデータをロードする

ロードのステップを強調した ETL パイプライン。

Python で学ぶ ETL と ELT

pandas を使って SQL データベースにデータをロードする

SQL データベースにアクセスするデータ利用者。

pandas の .to_sql() を使うと、データを SQL に永続化できます

  • name
  • con
  • if_exists
  • index
  • index_label
Python で学ぶ ETL と ELT

pandas を使って Postgres にデータを永続化する

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)
Python で学ぶ ETL と ELT

pandas を使ってデータの永続化を検証する

データが想定通り永続化されているか検証することが重要です。

  • データをクエリできるか確認する
  • 件数が一致するか確認する
  • 各行が存在するか検証する
# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...
Python で学ぶ ETL と ELT

練習しましょう！

Python で学ぶ ETL と ELT

Preparing Video For Download...