資料驗證

使用 PySpark 清理資料

Mike Metzger

Data Engineering Consultant

定義

「驗證」是：

  • 確認資料集符合預期格式
  • 列數／欄數
  • 資料型別
  • 複雜驗證規則
使用 PySpark 清理資料

用 join 驗證

  • 將資料與已知值比對
  • 容易在指定集合中尋找資料
  • 相對快速
parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

這會「自動」移除不在 valid_df 中公司的所有列！

使用 PySpark 清理資料

複雜規則驗證

使用 Spark 元件驗證邏輯：

  • 計算
  • 與外部來源比對
  • 可能使用 UDF 來修改／驗證 DataFrame
使用 PySpark 清理資料

一起來練習吧！

使用 PySpark 清理資料

Preparing Video For Download...