การประเมินประสิทธิภาพ

Understanding Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

ขั้นตอนการประเมิน

Overfitting

• ทำงานได้ดีมากบนข้อมูลฝึก
• ทำงานได้แย่บนข้อมูลทดสอบ
• โมเดลจำข้อมูลฝึกมากเกินไป จนไม่สามารถนำไปใช้กับข้อมูลใหม่ได้
• ใช้ชุดทดสอบเพื่อตรวจสอบประสิทธิภาพของโมเดล

ตัวอย่าง overfitting

ความแม่นยำ

• ความแม่นยำ = จำนวนที่จำแนกถูกต้อง / จำนวนทั้งหมด
• 48 / 50 = 96%

ข้อจำกัดของความแม่นยำ: ตัวอย่างการฉ้อโกง

$$

ความแม่นยำของโมเดลนี้:

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

• พลาดธุรกรรมฉ้อโกงส่วนใหญ่
• ต้องการเมตริกที่ดีกว่านี้

Confusion matrix

True positives

True positives

False negatives

False negatives

จำ False Negatives ให้ได้

เติมส่วนที่เหลือ...

False positives, true negatives

จำ False Positives ให้ได้

Sensitivity

จำแนกธุรกรรมฉ้อโกงได้ถูกต้องกี่รายการ?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

• ยอมให้ระบุธุรกรรมที่ถูกต้องว่าน่าสงสัยดีกว่าอนุมัติธุรกรรมที่เป็นการฉ้อโกง

Specificity

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

ตัวกรองสแปม:

• ยอมให้สแปมเข้า inbox ดีกว่าส่งอีเมลจริงไปที่โฟลเดอร์สแปม

การประเมินการถดถอย

การประเมินการถดถอย

• ค่าความผิดพลาด = ระยะห่างระหว่างจุด (ค่าจริง) กับเส้น (ค่าที่พยากรณ์)
• มีหลายวิธีในการคำนวณ เช่น root mean square error

Unsupervised learning

¹ https://www.flickr.com/photos/micahdowty/8540188997

มาฝึกกันเถอะ!

Understanding Machine Learning