Dự đoán và đánh giá

Machine Learning với Mô hình Dựa trên Cây trong R

Sandro Raabe

Data Scientist

Dự đoán trên dữ liệu mới

Gọi tổng quát:
predict(model, new_data, type)
Tham số:
  1. Mô hình đã huấn luyện
  2. Dữ liệu cần dự đoán
  3. Kiểu dự đoán: nhãn hoặc xác suất
Machine Learning với Mô hình Dựa trên Cây trong R

Dự đoán trên dữ liệu mới

predict(model, new_data = test_data, 
               type = "class")

  .pred_class
  <fct>      
1 no         
2 no         
3 yes        
4 no

predict(model, new_data = test_data, 
               type = "prob")

     .pred_no  .pred_yes
     <dbl>     <dbl>
1    0.866     0.134
2    0.956     0.044
3    0.672     0.328
4    0.877     0.123
Machine Learning với Mô hình Dựa trên Cây trong R

Ma trận nhầm lẫn

ma_tran_nham_lan_1

  • Cho thấy mức độ nhầm lẫn của mô hình
Machine Learning với Mô hình Dựa trên Cây trong R

Ma trận nhầm lẫn

ma_tran_nham_lan_2

Machine Learning với Mô hình Dựa trên Cây trong R

Ma trận nhầm lẫn

ma_tran_nham_lan_3

Machine Learning với Mô hình Dựa trên Cây trong R

Ma trận nhầm lẫn

ma_tran_nham_lan_4

  • Đường chéo: dự đoán đúng
  • Ngoài chéo: dự đoán sai
Machine Learning với Mô hình Dựa trên Cây trong R

Ma trận nhầm lẫn

 

  • TP: dự đoán có, thực tế có
  • TN: dự đoán không, thực tế không
  • FP: dự đoán có, thực tế không
  • FN: dự đoán không, thực tế có

ma_tran_nham_lan_4

Machine Learning với Mô hình Dựa trên Cây trong R

Tạo ma trận nhầm lẫn

# Combine predictions and truth values
pred_combined <- predictions %>% 
   mutate(true_class = test_data$outcome)

pred_combined

  .pred_class  true_class
  <fct>        <fct>     
1 no           no        
2 no           yes       
3 no           no        
4 yes          yes

# Calculate the confusion matrix
conf_mat(data = pred_combined,

         estimate = .pred_class,

         truth = true_class)


             Truth
Prediction    no   yes
        no   116    31
       yes    12    40
Machine Learning với Mô hình Dựa trên Cây trong R

Độ chính xác

  $$\text{accuracy} = \frac{\text{số dự đoán đúng}}{\text{tổng số dự đoán}}$$

  • Tên hàm: accuracy()
  • Tham số như conf_mat()
    • data, estimate, truth
    • Cấu trúc chung trong yardstick
accuracy(pred_combined,
         estimate = .pred_class,
         truth = true_class)

  .metric     .estimate
  <chr>           <dbl>
1 accuracy        0.708
Machine Learning với Mô hình Dựa trên Cây trong R

Hãy đánh giá!

Machine Learning với Mô hình Dựa trên Cây trong R

Preparing Video For Download...