การตรวจสอบความถูกต้องของข้อมูล

การทำความสะอาดข้อมูลด้วย PySpark

Mike Metzger

Data Engineering Consultant

นิยาม

การตรวจสอบความถูกต้อง คือ:

  • การยืนยันว่าชุดข้อมูลตรงตามรูปแบบที่กำหนด
  • จำนวนแถว / คอลัมน์
  • ชนิดข้อมูล
  • กฎการตรวจสอบที่ซับซ้อน
การทำความสะอาดข้อมูลด้วย PySpark

การตรวจสอบด้วย join

  • เปรียบเทียบข้อมูลกับค่าที่รู้จัก
  • ค้นหาข้อมูลในชุดที่กำหนดได้ง่าย
  • ความเร็วเปรียบเทียบสูง
parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

การดำเนินการนี้จะลบแถวที่มีบริษัทไม่อยู่ใน valid_df ออกโดยอัตโนมัติ!

การทำความสะอาดข้อมูลด้วย PySpark

การตรวจสอบกฎที่ซับซ้อน

ใช้คอมโพเนนต์ของ Spark เพื่อตรวจสอบตรรกะ:

  • การคำนวณ
  • การยืนยันกับแหล่งข้อมูลภายนอก
  • มักใช้ UDF เพื่อแก้ไข / ตรวจสอบ DataFrame
การทำความสะอาดข้อมูลด้วย PySpark

มาฝึกกันเถอะ!

การทำความสะอาดข้อมูลด้วย PySpark

Preparing Video For Download...