手動測試資料管線

使用 Python 的 ETL 與 ELT

Jake Roach

Data Engineer

測試資料管線

資料管線必須徹底測試

確認資料按預期被擷取、轉換與載入

驗證管線可在部署後降低維護成本

找出並修正資料品質問題
提升資料可靠性

測試資料管線的工具與技巧

端到端測試
在「檢查點」驗證資料
單元測試

測試與正式環境

用於建置與執行資料管線的測試與正式環境。

端到端測試管線

資料管線的端到端測試。

端到端測試

確認管線可重複執行
在管線檢查點驗證資料
進行同儕審查並採納回饋
確保使用者可存取，且對解決方案滿意

驗證管線檢查點

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

驗證 DataFrame

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

一起來練習吧！

使用 Python 的 ETL 與 ELT