Xác thực dữ liệu

Làm sạch dữ liệu với PySpark

Mike Metzger

Data Engineering Consultant

Định nghĩa

Xác thực là:

Kiểm tra bộ dữ liệu có đúng định dạng mong đợi
Số hàng/cột
Kiểu dữ liệu
Quy tắc xác thực phức tạp

Xác thực qua join

Đối chiếu dữ liệu với giá trị đã biết
Dễ tìm dữ liệu trong một tập cho trước
Tương đối nhanh

parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

Điều này tự động loại bỏ mọi hàng có company không nằm trong valid_df!

Xác thực quy tắc phức tạp

Dùng các thành phần Spark để kiểm tra logic:

Tính toán
Đối chiếu với nguồn ngoài
Thường dùng UDF để biến đổi/xác minh DataFrame

Hãy luyện tập!

Làm sạch dữ liệu với PySpark