ฐานข้อมูลและการตรวจสอบคุณภาพ

Demystifying Decision Science

Howard Friedman

Adjunct Professor at Columbia University

การคัดกรองแหล่งข้อมูล

ข้อมูลไม่ได้มีประโยชน์เท่ากันทุกชุด

  • บางชุดข้อมูลต้องทำความสะอาดมาก หรือขาดฟีเจอร์ที่มีความหมาย
  • บางชุดอาจไม่คุ้มค่าที่จะนำมาใช้เลย

 

การคัดกรองข้อมูลช่วยจัดลำดับความสำคัญได้รวดเร็ว

  • ประเมินความเหมาะสมของชุดข้อมูลก่อนลงทุนเวลาและทรัพยากร

เริ่มจากความพร้อมในการเข้าถึง

  • ข้อมูลเข้าถึงได้ง่าย หรือต้องเสียค่าสมัครสมาชิก
  • มีข้อจำกัดด้านสิทธิ์หรือความปลอดภัยหรือไม่
  • จัดการประเด็นนี้ตั้งแต่แรกเพื่อหลีกเลี่ยงความสูญเปล่า

triage.png

Demystifying Decision Science

การตรวจสอบหลัก

พิจารณาค่าใช้จ่าย

  • มีค่าลิขสิทธิ์หรือค่าเข้าถึงข้อมูลหรือไม่
  • ต้องจ่ายค่าพื้นที่จัดเก็บหรือเครื่องมือพิเศษหรือไม่

ประเมินความเป็นประโยชน์

  • ชุดข้อมูลมีสิ่งที่ต้องการสำหรับการวิเคราะห์หรือไม่
  • ตรวจสอบขอบเขต รายละเอียด ความครบถ้วน และความเกี่ยวข้องของฟีเจอร์

ตรวจสอบความถี่ในการอัปเดต

  • การพยากรณ์แบบ real-time ต้องใช้ข้อมูลที่อัปเดตอย่างสม่ำเสมอ
  • ความถี่ในการอัปเดตที่ไม่ตรงกันอาจทำให้ข้อมูลใช้งานไม่ได้

ประเมินความละเอียดทางภูมิศาสตร์

  • ข้อมูลสอดคล้องกับระดับพื้นที่ที่ต้องการในการวิเคราะห์หรือไม่
  • ข้อมูลระดับประเทศไม่เพียงพอหากต้องการความละเอียดระดับรหัสไปรษณีย์
Demystifying Decision Science

การตรวจสอบคุณภาพข้อมูล

คุณภาพข้อมูลสำคัญมาก

  • ข้อมูลที่ไม่ดีสามารถทำลายโมเดลและนำไปสู่การตัดสินใจที่ผิดพลาด
  • "Garbage in, garbage out" คือความเสี่ยงจริงในงาน decision science

GIGO.png

สังเกตค่าที่ขาดหาย

  • เปอร์เซ็นต์ของค่าที่ขาดหายในแต่ละคอลัมน์
  • รูปแบบที่บ่งชี้ปัญหาเชิงลึกในการเก็บรวบรวมข้อมูล

ตรวจสอบช่วงค่าเบื้องต้น

  • มีค่าที่ไม่สมเหตุสมผลในบริบทของคุณหรือไม่
  • เช่น อายุ = 450 หรือ ราคา = -$10
  • ใช้การตรวจสอบเพื่อระบุปัญหาสำคัญตั้งแต่เนิ่นๆ
Demystifying Decision Science

การตรวจสอบเพิ่มเติม

ตรวจสอบค่าผิดปกติ

  • ใช้ histogram หรือ boxplot เพื่อแสดงภาพ
  • หารือกับผู้มีส่วนได้ส่วนเสียก่อนตัดข้อมูลออก

ประเมินความทันสมัยของข้อมูล

  • ข้อมูลที่มีอยู่ใหม่เพียงพอสำหรับการนำไปใช้งานหรือไม่
  • บริบทที่เปลี่ยนแปลงเร็วต้องการข้อมูลที่อัปเดตบ่อยครั้ง

ตรวจสอบความสม่ำเสมอของรูปแบบ

  • มองหารูปแบบวันที่ที่ไม่สอดคล้อง การสะกดผิด หรือชื่อคอลัมน์ที่ไม่ตรงกัน
  • ทำความสะอาดและกำหนดมาตรฐานเพื่อป้องกันปัญหาในการวิเคราะห์

QA.png

Demystifying Decision Science

มาฝึกกันเถอะ!

Demystifying Decision Science

Preparing Video For Download...