การทำความสะอาดและเตรียมข้อมูลคืออะไร?

การเตรียมข้อมูลใน Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

ทำไมข้อมูลที่สะอาดจึงสำคัญ?

GIGO: "Garbage In, Garbage Out"

• การทำความสะอาดและเตรียมข้อมูลช่วยให้:
  • หลีกเลี่ยงความผิดพลาด
  • ทำให้ข้อมูลและรูปแบบเป็นมาตรฐาน
  • เพิ่มประสิทธิภาพการทำงาน
  • ได้รับข้อมูลเชิงลึกได้เร็วขึ้น

การทำความสะอาดข้อมูลเปรียบเหมือน...

การตรวจเช็กรถยนต์ - การดูแลรถด้วยอะไหล่และน้ำมันใหม่ช่วยให้รถทำงานได้ดีขึ้น

 

ตัวอย่างของข้อมูลสกปรก

• ข้อมูลที่ขาดหายหรือไม่สมบูรณ์

ตัวอย่างของข้อมูลสกปรก

• ข้อมูลที่ขาดหายหรือไม่สมบูรณ์
• ข้อมูลที่ไม่ได้มาตรฐานหรือไม่สอดคล้องกัน

ตัวอย่างของข้อมูลสกปรก

• ข้อมูลที่ขาดหายหรือไม่สมบูรณ์
• ข้อมูลที่ไม่ได้มาตรฐานหรือไม่สอดคล้องกัน
• ข้อผิดพลาดในการป้อนข้อมูล

ตัวอย่างของข้อมูลสกปรก

• ข้อมูลที่ขาดหายหรือไม่สมบูรณ์
• ข้อมูลที่ไม่ได้มาตรฐานหรือไม่สอดคล้องกัน
• ข้อผิดพลาดในการป้อนข้อมูล
• ช่องว่างนำหน้าหรือท้าย และอักขระหรือเครื่องหมายวรรคตอนที่ไม่จำเป็น

เทคนิคการทำความสะอาดข้อมูล

จัดการข้อมูลที่ขาดหาย

• แทนค่าข้อมูลที่ขาดหาย เช่น:
  • แปลงค่า null เป็นค่าว่างสำหรับข้อมูลประเภทข้อความ
  • แทนค่า null ด้วย 0 สำหรับข้อมูลประเภทตัวเลข
• กรองข้อมูลที่ขาดหายออกจากกระแสข้อมูล

เทคนิคการทำความสะอาดข้อมูล

ทำให้ข้อมูลเป็นมาตรฐาน

• ตรวจสอบรูปแบบ
  • เพิ่ม $ สำหรับสกุลเงิน
  • 000123456
• ตรวจสอบรูปแบบการตั้งชื่อฟิลด์และไฟล์
  • "filename_01012004.csv"
• ปรับตัวพิมพ์ของข้อมูลในฟิลด์
  • LOCATION
• ปรับชนิดข้อมูล

เทคนิคการทำความสะอาดข้อมูล

ลบรายการที่ไม่จำเป็นออก

• ช่องว่างนำหน้า/ท้าย
• แท็บและการขึ้นบรรทัดใหม่
• แถวหรือคอลัมน์ที่ไม่ต้องการ
• เครื่องหมายวรรคตอน ตัวอักษร และตัวเลขที่ไม่จำเป็น

Profile พร้อมรหัสสี

การใช้รหัสสีในหน้าต่าง Results และ Profile ช่วยชี้แนะเทคนิคการทำความสะอาดข้อมูล

• สีเขียว = OK

Profile พร้อมรหัสสี

การใช้รหัสสีในหน้าต่าง Results และ Profile ช่วยชี้แนะเทคนิคการทำความสะอาดข้อมูล

• สีเขียว = OK
• สีขาว = Unique

Profile พร้อมรหัสสี

การใช้รหัสสีในหน้าต่าง Results และ Profile ช่วยชี้แนะเทคนิคการทำความสะอาดข้อมูล

• สีเขียว = OK
• สีขาว = Unique
• สีเหลือง = Null

Profile พร้อมรหัสสี

การใช้รหัสสีในหน้าต่าง Results และ Profile ช่วยชี้แนะเทคนิคการทำความสะอาดข้อมูล

• สีเขียว = OK
• สีขาว = Unique
• สีเหลือง = Null
• สีแดง = Not OK (เช่น ช่องว่างท้าย)

Profile พร้อมรหัสสี

การใช้รหัสสีในหน้าต่าง Results และ Profile ช่วยชี้แนะเทคนิคการทำความสะอาดข้อมูล

• สีเขียว = OK
• สีขาว = Unique
• สีเหลือง = Null
• สีแดง = Not OK (เช่น ช่องว่างท้าย)
• สีเทา = Empty

ชนิดข้อมูลใน Alteryx

• ควรรู้จักชนิดข้อมูลต่าง ๆ
  • วิธีใช้และเวลาที่เหมาะสม
• ชนิดข้อมูลหลัก 5 ประเภท
  • Boolean - รูปแบบไบนารี

ชนิดข้อมูลใน Alteryx

• ควรรู้จักชนิดข้อมูลต่าง ๆ
  • วิธีใช้และเวลาที่เหมาะสม
• ชนิดข้อมูลหลัก 5 ประเภท
  • Boolean - รูปแบบไบนารี
  • Numeric - ข้อมูลตัวเลข รวมถึง Double

ชนิดข้อมูลใน Alteryx

• ควรรู้จักชนิดข้อมูลต่าง ๆ
  • วิธีใช้และเวลาที่เหมาะสม
• ชนิดข้อมูลหลัก 5 ประเภท
  • Boolean - รูปแบบไบนารี
  • Numeric - ข้อมูลตัวเลข รวมถึง Double
  • String - ข้อมูลข้อความ

¹ String ครอบคลุมตั้งแต่ประเภท String จนถึง V_W String

ชนิดข้อมูลใน Alteryx

• ควรรู้จักชนิดข้อมูลต่าง ๆ
  • วิธีใช้และเวลาที่เหมาะสม
• ชนิดข้อมูลหลัก 5 ประเภท
  • Boolean - รูปแบบไบนารี
  • Numeric - ข้อมูลตัวเลข รวมถึง Double
  • String - ข้อมูลข้อความ
  • DateTime - ข้อมูลวันที่และเวลา

ชนิดข้อมูลใน Alteryx

• ควรรู้จักชนิดข้อมูลต่าง ๆ
  • วิธีใช้และเวลาที่เหมาะสม
• ชนิดข้อมูลหลัก 5 ประเภท
  • Boolean - รูปแบบไบนารี
  • Numeric - ข้อมูลตัวเลข รวมถึง Double
  • String - ข้อมูลข้อความ
  • DateTime - ข้อมูลวันที่และเวลา
  • Spatial - ออบเจกต์และจุดเชิงพื้นที่

รายละเอียดชุดข้อมูล

• แบบฝึกหัดปฏิบัติใน Alteryx:
  • ข้อมูลการขายอสังหาริมทรัพย์ในนิวยอร์กซิตี้
  • ชุดข้อมูลเดียวสำหรับทุกแบบฝึกหัด
  • วิเคราะห์ยอดขายสูงสุด

มาฝึกกันเถอะ!

การเตรียมข้อมูลใน Alteryx