Kiểm thử thủ công một data pipeline

ETL và ELT với Python

Jake Roach

Data Engineer

Kiểm thử data pipeline

Data pipeline cần được kiểm thử kỹ lưỡng

  • Xác thực dữ liệu được trích xuất, biến đổi, và nạp đúng như mong đợi

$$

Xác thực pipeline giúp giảm công sức bảo trì sau triển khai

  • Phát hiện và sửa lỗi chất lượng dữ liệu
  • Nâng cao độ tin cậy của dữ liệu

Công cụ và kỹ thuật kiểm thử data pipeline

  • Kiểm thử end-to-end
  • Xác thực dữ liệu tại các "checkpoint"
  • Kiểm thử unit
ETL và ELT với Python

Môi trường kiểm thử và sản xuất

Môi trường kiểm thử và sản xuất để xây dựng và chạy data pipeline.

ETL và ELT với Python

Kiểm thử pipeline end-to-end

Kiểm thử end-to-end cho một data pipeline.

Kiểm thử end-to-end

  • Xác nhận pipeline chạy ổn định qua nhiều lần
  • Xác thực dữ liệu tại các checkpoint của pipeline
  • Peer review và tiếp thu phản hồi
  • Đảm bảo người dùng truy cập được và hài lòng với giải pháp
ETL và ELT với Python

Xác thực các checkpoint của pipeline

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417
ETL và ELT với Python

Xác thực các DataFrame

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True
ETL và ELT với Python

Cùng luyện tập nào!

ETL và ELT với Python

Preparing Video For Download...