การทำความสะอาดข้อมูล

แนวคิด Data Warehousing

Aaren Stubberfield

Data Scientist

หัวข้อวิดีโอ

  • การแก้ไขรูปแบบข้อมูล
  • การแยกวิเคราะห์ที่อยู่
  • การตรวจสอบความถูกต้องของข้อมูล
  • การกำจัดข้อมูลซ้ำ
แนวคิด Data Warehousing

การทำความสะอาดรูปแบบข้อมูล

  • อัปเดตค่าให้ตรงตามรูปแบบที่กำหนด
    • วันที่
    • ชื่อตัวเลือก
    • การใช้ตัวพิมพ์ใหญ่-เล็ก
  • ทำให้ผลลัพธ์มีรูปแบบที่สอดคล้องกัน

ตัวอย่างข้อมูลแท็กซี่

ตารางสองตารางที่รวมเข้าเป็นหนึ่ง

แนวคิด Data Warehousing

การแยกวิเคราะห์ที่อยู่

  • แบ่งที่อยู่ถนนออกเป็นส่วนประกอบย่อย
  • ใช้เครื่องมือตรวจสอบความถูกต้องของที่อยู่ได้
ที่อยู่
1234 S Normal St, Cleveland, OH 44102
ที่อยู่ เมือง รัฐ รหัสไปรษณีย์
1234 S Normal St Cleveland OH 44102
แนวคิด Data Warehousing

การตรวจสอบความถูกต้องของข้อมูล

  • การตรวจสอบช่วงค่า
    • ค่าอยู่ในช่วงที่กำหนดหรือไม่?
    • ตัวอย่าง: อายุของบุคคล
  • การตรวจสอบชนิดข้อมูล
    • ค่าเป็นชนิดข้อมูลที่ถูกต้องหรือไม่?
    • ตัวอย่าง: จัดเก็บอายุเป็น string หรือ number

ตารางคอลัมน์ Age โดยแถวแรกมีค่า 300 ซึ่งถูกระบุว่าไม่ถูกต้อง

ตารางสามคอลัมน์ที่มีคอลัมน์ Age เป็นชนิดข้อมูล string ซึ่งถูกระบุว่าไม่ถูกต้อง

แนวคิด Data Warehousing

การกำจัดแถวที่ซ้ำกัน

  • กระบวนการนี้ใช้กำจัดรายการที่ซ้ำกัน

ตารางสองตารางที่มีสองคอลัมน์รอการรวมเข้าด้วยกัน

ตารางที่รวมแล้วโดยไม่มีแถวที่ซ้ำกัน

แนวคิด Data Warehousing

การกำกับดูแลข้อมูล

ภาพประกอบการปฏิบัติตามกฎระเบียบ

แนวคิด Data Warehousing

มาฝึกกันเถอะ!

แนวคิด Data Warehousing

Preparing Video For Download...