แนวปฏิบัติที่ดีสำหรับการตรวจสอบข้อมูล

การจัดการข้อมูล AI อย่างรับผิดชอบ

Maria Prokofieva

Lead ML engineer

หัวข้อที่จะเรียน

• การวิเคราะห์กลุ่มย่อย
• ค่าที่หายไป
• การกำจัด Outlier
• การแก้ไขความไม่สอดคล้องของข้อมูล
• Feature Scaling
• Feature Encoding
• การลดมิติข้อมูล

การวิเคราะห์กลุ่มย่อย

ข้อมูลที่หายไป

• พบบ่อยในชุดข้อมูลขนาดใหญ่
• การลบข้อมูล
• กลยุทธ์การ Imputation และวิธีอิงโมเดล
• การวิเคราะห์กลุ่มย่อยเพื่อตรวจสอบ

การกำจัด Outlier

• วิธีทางสถิติ เช่น z-score, IQR หรือ Robust Scaling
• ตรวจสอบความเป็นธรรมในการจัดการข้อมูลแต่ละกลุ่ม

ความไม่สอดคล้องของข้อมูล

• คุณภาพข้อมูลส่งผลต่อความถูกต้องและความน่าเชื่อถือของโมเดล
• การกำหนดมาตรฐานและกฎการตรวจสอบข้อมูล
• การ Normalization ระดับกลุ่มย่อย

Feature Scaling

• Feature Scaling สำหรับแปลง Feature ที่ใช้เป็น Input
• ตรวจสอบโดยดูการกระจายของข้อมูลในแต่ละกลุ่ม

Feature Encoding

• ประเมินผลกระทบของ Encoding ต่อผลลัพธ์
• ตรวจสอบความลำเอียงและการสูญเสียข้อมูล
• ตรวจสอบการ Overfit
• ใช้ Regularization และการลดมิติข้อมูล

การลดมิติข้อมูล

• ลด Feature และคงข้อมูลสำคัญไว้
• อาจก่อให้เกิดความลำเอียง
• ใช้เทคนิคที่คำนึงถึงความเป็นธรรม เช่น t-SNE

ที่ปรึกษาทางการเงิน

• Feature "รายได้ต่อปี" และ "ความถี่ในการลงทุน"
• ปรับ Outlier และทำ Scaling
• การวิเคราะห์กลุ่มย่อย

มาฝึกกันเถอะ!

การจัดการข้อมูล AI อย่างรับผิดชอบ