ความเสี่ยงของ machine learning

Machine Learning for Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

ประสิทธิภาพต่ำ

บางโมเดลทำงานได้ไม่ดี (ตรวจสอบประสิทธิภาพบนชุดข้อมูล test ไม่ใช่ training):

Precision ต่ำ
Recall ต่ำ
ค่าความผิดพลาดสูง

Precision ต่ำ

Precision ต่ำ — มีรายการถูกจัดกลุ่มผิดจำนวนมาก = false positive มาก

ตัวอย่าง — มีเพียง 10% ของลูกค้าที่โมเดลระบุว่ามีแนวโน้มซื้อสินค้าที่ซื้อจริง

Recall ต่ำ

Recall ต่ำ — โมเดลจับข้อมูลในคลาสที่สนใจได้เพียงเศษส่วนเล็กน้อย

ตัวอย่าง — โมเดลระบุธุรกรรมฉ้อโกงได้เพียง 25% ของทั้งหมด

ค่าความผิดพลาดสูง

ค่าความผิดพลาดสูง — ค่าพยากรณ์และค่าจริงต่างกันมาก

ตัวอย่าง — ค่าความผิดพลาดเฉลี่ยในการพยากรณ์คะแนนความพึงพอใจของลูกค้าอยู่ที่ 3.5 หน่วย หรือ 70%

กรณีใช้งานโมเดลที่ไม่สามารถดำเนินการได้

ถาม: จะทดสอบโมเดลอย่างถูกต้องได้อย่างไร?

ตอบ: รันการทดสอบ/การทดลองเพื่อยืนยันประสิทธิภาพ เช่น อีเมลป้องกันการเลิกใช้บริการ, โปรโมชันสินค้า, การบำรุงรักษาเครื่องจักร, การตรวจสอบธุรกรรมด้วยมือ

A/B testing

การทดสอบ A/B

ถ้าการทดสอบไม่ได้ผล ควรทำอย่างไร?

รวบรวมข้อมูลเพิ่มเติม — ต้องให้ฝ่ายธุรกิจมีส่วนร่วม
สร้างโมเดลเชิงสาเหตุเพื่อทำความเข้าใจปัจจัยขับเคลื่อน
ทำวิจัยเชิงคุณภาพ (แบบสอบถาม ฯลฯ)
เปลี่ยนขอบเขตของปัญหา
- ลดขอบเขต
- ขยายขอบเขต
- ตั้งคำถามใหม่

มาฝึกกันเถอะ!

Machine Learning for Business