การติดตามประสิทธิภาพ

Demystifying Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

ประสิทธิภาพของโมเดล

โมเดลต่างกัน จุดแข็งต่างกัน

  • โมเดลหนึ่งถนัดระบุว่าใครมีแนวโน้มจะผิดนัดชำระ
  • อีกโมเดลถนัดประเมินว่าจะผิดนัดเป็นมูลค่าเท่าไร

  scales.png

โมเดลไหนดีกว่า? ขึ้นอยู่กับเป้าหมาย

  • ต้องการระบุลูกค้าที่มีความเสี่ยงหรือเปล่า
  • หรือต้องการประเมินผลกระทบทางการเงินจากการผิดนัดชำระ
Demystifying Decision Science

เมตริกของโมเดล

เมตริกแต่ละตัวช่วยให้มองเห็นประสิทธิภาพในแง่มุมที่แตกต่างกัน

เมตริกประเมินผลที่ใช้บ่อย:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

Demystifying Decision Science

Accuracy

 

ภาพรวมความถูกต้องในวงกว้าง

  • วัดเปอร์เซ็นต์ของการพยากรณ์ทั้งหมดที่โมเดลทำได้ถูกต้อง
  • เหมาะเมื่อคลาสมีสมดุล เช่น spam กับ not spam

acc.png

Precision

 

ค่าบวกที่พยากรณ์ได้นั้นถูกต้องมากแค่ไหน

  • สำคัญเมื่อ false positive มีต้นทุนสูง
  • Precision ต่ำ = ระบุธุรกรรมปกติจำนวนมากว่าเป็น fraudulent

precision.png

Demystifying Decision Science

เมตริกเพิ่มเติม

Recall: จับ true positive ให้ได้มากที่สุด

  • วัดว่าโมเดลหาค่าบวกที่แท้จริงได้ดีแค่ไหน
  • สำคัญเมื่อการพลาดเคสมีต้นทุนสูง เช่น การทุจริต หรือโรค

Area under the curve (AUC): วัดการแยกคลาส

  • ประเมินว่าโมเดลแยกแยะคลาสได้ดีแค่ไหน
  • ไม่ขึ้นกับ threshold ที่กำหนด

เมตริก Regression: วัดความคลาดเคลื่อนของการพยากรณ์

  • Mean Absolute Error (MAE): ขนาดเฉลี่ยของความคลาดเคลื่อน
  • Mean Percentage Error (MPE): ความคลาดเคลื่อนในรูปเปอร์เซ็นต์

 

moremetrics.png

Demystifying Decision Science

แดชบอร์ดมีความสำคัญ

แดชบอร์ดแปลงการวิเคราะห์ที่ซับซ้อนให้กลายเป็น insight ที่ชัดเจนและนำไปใช้ได้จริง ช่วยให้ตัดสินใจได้ง่ายขึ้น

 

แดชบอร์ด

Demystifying Decision Science

หลักการพื้นฐาน

 

รู้จักผู้ชม

  • ผู้บริหารต้องการสรุป
  • นักวิเคราะห์ต้องการรายละเอียด

 

เน้นเมตริกสำคัญ

  • แสดงเฉพาะสิ่งที่สำคัญที่สุด
  • หลีกเลี่ยงความยุ่งเหยิง

 

ใช้การแสดงผลที่ชัดเจน

  • แผนภูมิแท่งสำหรับการเปรียบเทียบ แผนภูมิเส้นสำหรับแนวโน้ม
  • วิชวลที่เรียบง่ายมักให้ผลดีที่สุด

  clear.png

Demystifying Decision Science

หลักการเพิ่มเติม

ติดตามการเปลี่ยนแปลงตามเวลา

  • ตรวจสอบประสิทธิภาพของโมเดลและ feature drift
  • แนวโน้มช่วยให้เข้าใจเมตริกได้ลึกขึ้น

เพิ่มบริบท ไม่ใช่แค่ตัวเลข

  • ใช้คำอธิบายสั้น ๆ เพื่ออธิบายการเปลี่ยนแปลงสำคัญ
  • ช่วยให้ผู้ใช้เข้าใจว่าเกิดอะไรขึ้นและเพราะเหตุใด

ทดสอบและปรับปรุงอย่างต่อเนื่อง

  • แชร์ตั้งแต่เนิ่น ๆ และเก็บ feedback
  • อัปเดตแดชบอร์ดเมื่อโมเดลหรือความต้องการเปลี่ยนไป

iterate.png

Demystifying Decision Science

มาฝึกกันเถอะ!

Demystifying Decision Science

Preparing Video For Download...