การรวมข้อมูล

การจัดการข้อมูล AI อย่างรับผิดชอบ

Maria Prokofieva

Lead ML engineer

หัวข้อที่จะเรียน

• ทำไมต้องมีการรวมข้อมูล
• ประโยชน์และความซับซ้อนที่ตามมา
• ขั้นตอนการรวมข้อมูล

ทำไมต้องมีหลายแหล่งข้อมูล?

• มุมมองที่ครอบคลุมและละเอียด
• ตาข่ายความปลอดภัย
• ความหลากหลายและความเป็นธรรมของข้อมูล
• ความสามารถอธิบาย ความโปร่งใส และความรับผิดชอบ

ระวังปัญหาเหล่านี้

• กระทบต่อคุณภาพข้อมูล
• ทำให้เกิดความไม่สอดคล้อง
• ขยายความลำเอียง
• ลดความครอบคลุมของกลุ่มตัวแทน
• ความซับซ้อนของโมเดล
• ลดความโปร่งใสและความสามารถในการอธิบาย

¹ Image by Streamline HQ

ขั้นตอนที่ 1. การเลือกแหล่งข้อมูล

• ทำตามขั้นตอนการประเมิน
• ประเมินแหล่งข้อมูล
• ชุดข้อมูลที่สมดุลและครอบคลุมมากขึ้น

ขั้นตอนที่ 2. การจัดแนวประเภทข้อมูล

• ระบุตัวแปรร่วม
• ทำให้ชื่อและรูปแบบเป็นมาตรฐาน
• นอร์มัลไลซ์ข้อมูลตัวเลข
• รวบรวมข้อมูลเชิงหมวดหมู่
• ปรับระดับความละเอียดของข้อมูลให้สอดคล้องกัน

ขั้นตอนที่ 3. การปรับปรุงความลำเอียงและการมีตัวแทน

• การถ่วงน้ำหนัก
  • ความรู้เชิงโดเมน
  • กำหนดน้ำหนักให้กลุ่มที่มีตัวแทนน้อยหรือมากเกินไป
• การปรับสมดุล
  • การมีตัวแทนที่เท่าเทียม
  • การสุ่มตัวอย่างเพิ่มหรือลด
• การตรวจสอบด้วยอัลกอริทึม
• การวิเคราะห์ช่องว่าง

ขั้นตอนที่ 4. การจัดทำเอกสาร

• บันทึกโดยละเอียด:
  • ขั้นตอนการรวมข้อมูล
  • การตัดสินใจที่เกิดขึ้น
• เมตาดาตาโดยละเอียด:
  • แหล่งข้อมูล
  • วิธีการเก็บรวบรวมข้อมูล
  • การแปลงข้อมูลที่นำไปใช้

โปรเจกต์การจราจรในเมือง

• เลือกแหล่งข้อมูล
• ระบุคุณลักษณะร่วม
• พัฒนา Unified Data Model

¹ Images by Streamline HQ

โปรเจกต์การจราจรในเมือง

• ใช้เทคนิคทางสถิติสำหรับความลำเอียงและการมีตัวแทน
• ปรับการถ่วงน้ำหนัก
• วิเคราะห์ช่องว่างและปรับน้ำหนักใหม่
• จัดทำเอกสาร

มาฝึกกันเถอะ!

การจัดการข้อมูล AI อย่างรับผิดชอบ