pandasでSQLデータベースにデータをロードする

Python で学ぶ ETL と ELT

Jake Roach

Data Engineer

pandasでSQLデータベースにデータをロードする

ロードを強調したETLパイプライン。

Python で学ぶ ETL と ELT

pandasでSQLデータベースにデータを読み込む

データ利用者がSQLデータベースにアクセス。

pandasは.to_sql()でデータをSQLに永続化します

  • name
  • con
  • if_exists
  • index
  • index_label
Python で学ぶ ETL と ELT

pandasでPostgresにデータを永続化する

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)
Python で学ぶ ETL と ELT

pandasでデータ永続化を検証する

データが期待どおりに永続化されたか検証することが重要です。

  • クエリ可能か確認
  • 件数が一致するか確認
  • 各行が存在するか検証
# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...
Python で学ぶ ETL と ELT

Let's practice!

Python で学ぶ ETL と ELT

Preparing Video For Download...