データパイプラインの手動テスト

Python で学ぶ ETL と ELT

Jake Roach

Data Engineer

データパイプラインのテスト

データパイプラインは十分にテストする必要があります

データの抽出・変換・ロードが正しく行われているか検証する

パイプラインの検証により、デプロイ後のメンテナンス負荷を軽減できます

データ品質の問題を特定・修正する
データの信頼性を向上させる

データパイプラインのテストに使用するツールと手法

エンドツーエンドテスト
「チェックポイント」でのデータ検証
ユニットテスト

テスト環境と本番環境

データパイプラインの構築・実行におけるテスト環境と本番環境。

パイプラインのエンドツーエンドテスト

データパイプラインのエンドツーエンドテスト。

エンドツーエンドテスト

パイプラインが繰り返し実行できることを確認する
チェックポイントでデータを検証する
ピアレビューを行い、フィードバックを反映させる
利用者がソリューションにアクセスでき、満足していることを確認する

パイプラインチェックポイントの検証

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

DataFrameの検証

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

練習しましょう！

Python で学ぶ ETL と ELT