Đánh giá hiệu suất

Tìm hiểu Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

Bước đánh giá

Quá khớp (Overfitting)

Hoạt động tốt trên dữ liệu huấn luyện
Hoạt động kém trên dữ liệu kiểm tra
Mô hình ghi nhớ dữ liệu huấn luyện và không khái quát hóa được cho dữ liệu mới
Dùng tập kiểm tra để kiểm tra hiệu suất mô hình

Minh họa quá khớp

quá khớp

Độ chính xác

Độ chính xác = quan sát phân loại đúng / tổng quan sát
48 / 50 = 96%

bộ phân loại tuyến tính từ bài học đầu

Giới hạn của độ chính xác: ví dụ gian lận

$$

Độ chính xác của mô hình này:

$$\frac{28\ phân\ loại\ đúng}{30\ điểm\ tổng}=93.33\%$$

Bỏ sót phần lớn giao dịch gian lận
Cần thước đo tốt hơn

Ma trận nhầm lẫn

ma trận nhầm lẫn

Dương tính thật (TP)

Dương tính thật (TP)

Âm tính giả (FN)

Âm tính giả (FN)

Ghi nhớ Âm tính giả

Điền nốt phần còn lại...

Dương tính giả, âm tính thật

Ghi nhớ Dương tính giả

Độ nhạy (Sensitivity)

Có bao nhiêu giao dịch gian lận được phân loại đúng?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

Thà đánh dấu nhầm giao dịch hợp lệ là đáng ngờ còn hơn duyệt nhầm giao dịch gian lận

Độ đặc hiệu (Specificity)

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Bộ lọc thư rác:

Thà đưa spam vào hộp thư đến hơn là đưa email thật vào thư mục spam

Đánh giá hồi quy

Đánh giá hồi quy

Lỗi = khoảng cách giữa điểm (giá trị thực) và đường (giá trị dự đoán)
Có nhiều cách tính, ví dụ: RMSE (root mean square error)

Học không giám sát

chọn hành trình của riêng bạn

¹ https://www.flickr.com/photos/micahdowty/8540188997

Ayo berlatih!

Tìm hiểu Machine Learning

Preparing Video For Download...