数据验证

使用 PySpark 进行数据清洗

Mike Metzger

Data Engineering Consultant

定义

"验证"是：

检查数据集是否符合预期格式
行/列数量
数据类型
复杂验证规则

通过连接进行验证

将数据与已知值比对
便于在给定集合中查找数据
相对快速

parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

这会"自动"移除公司不在 valid_df 中的行！

复杂规则验证

使用 Spark 组件验证逻辑：

计算
与外部来源比对
通常用 UDF 修改/校验 DataFrame

让我们来练习！

使用 PySpark 进行数据清洗