構造化ソースからのデータ抽出

Python で学ぶ ETL と ELT

Jake Roach

Data Engineer

ソースシステム

本コースでは:

CSV ファイル
Parquet ファイル
JSON ファイル
SQL データベース

データの他の供給源:

API
データレイク
データウェアハウス
ウェブスクレイピング
など多数

Parquet ファイルの読み込み

Parquet ファイル:

高速なフィールド保存・取得向けのオープンソースの列指向形式
CSV と似た操作感

import pandas as pd

# Read the parquet file into memory
raw_stock_data = pd.read_parquet("raw_stock_data.parquet", engine="fastparquet")

¹ https://www.databricks.com/glossary/what-is-parquet

SQL データベースへの接続

SQL データベースから pandas の DataFrame に取得可能
接続 URI でエンジンを作成し、DB に接続

import sqlalchemy
import pandas as pd

# Connection URI: schema_identifier://username:password@host:port/db
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Query the SQL database
raw_stock_data = pd.read_sql("SELECT * FROM raw_stock_data LIMIT 10", db_engine)

モジュール化

ロジックを関数に分離

パイプラインの可読性が向上
「繰り返し禁止（DRY）」の原則に合致
トラブルシューティングを迅速化

def extract_from_sql(connection_uri, query):
    # Create an engine, query data and return DataFrame
    db_engine = sqlalchemy.create_engine(connection_uri)
    return pd.read_sql(query, db_engine)

extract_from_sql("postgresql+psycopg2://.../market", "SELECT ... LIMIT 10;")

Passons à la pratique !

Python で学ぶ ETL と ELT