Przewidywanie i ocena

Uczenie maszynowe z modelami drzewiastymi w R

Sandro Raabe

Data Scientist

Predykcja na nowych danych

Ogólne wywołanie:
predict(model, new_data, type)
Argumenty:
  1. Wytrenowany model
  2. Zbiór danych do predykcji
  3. Typ predykcji: etykiety lub prawdopodobieństwa
Uczenie maszynowe z modelami drzewiastymi w R

Predykcja na nowych danych

predict(model, new_data = test_data, 
               type = "class")
  .pred_class
  <fct>      
1 no         
2 no         
3 yes        
4 no
predict(model, new_data = test_data, 
               type = "prob")
     .pred_no  .pred_yes
     <dbl>     <dbl>
1    0.866     0.134
2    0.956     0.044
3    0.672     0.328
4    0.877     0.123
Uczenie maszynowe z modelami drzewiastymi w R

Macierz pomyłek

macierz_pomyłek_1

  • Pokazuje, jak bardzo model się myli
Uczenie maszynowe z modelami drzewiastymi w R

Macierz pomyłek

macierz_pomyłek_2

Uczenie maszynowe z modelami drzewiastymi w R

Macierz pomyłek

macierz_pomyłek_3

Uczenie maszynowe z modelami drzewiastymi w R

Macierz pomyłek

macierz_pomyłek_4

  • Przekątna: poprawne predykcje
  • Poza przekątną: błędne predykcje
Uczenie maszynowe z modelami drzewiastymi w R

Macierz pomyłek

 

  • TP: predykcja tak, prawda tak
  • TN: predykcja nie, prawda nie
  • FP: predykcja tak, prawda nie
  • FN: predykcja nie, prawda tak

macierz_pomyłek_4

Uczenie maszynowe z modelami drzewiastymi w R

Tworzenie macierzy pomyłek

# Combine predictions and truth values
pred_combined <- predictions %>% 
   mutate(true_class = test_data$outcome)

pred_combined
  .pred_class  true_class
  <fct>        <fct>     
1 no           no        
2 no           yes       
3 no           no        
4 yes          yes
# Calculate the confusion matrix
conf_mat(data = pred_combined,

estimate = .pred_class,
truth = true_class)
             Truth
Prediction    no   yes
        no   116    31
       yes    12    40
Uczenie maszynowe z modelami drzewiastymi w R

Dokładność

  $$\text{accuracy} = \frac{\text{n of correct predictions}}{\text{n of total predictions}}$$

  • Nazwa funkcji: accuracy()
  • Te same argumenty co conf_mat()
    • data, estimate i truth
    • Wspólna struktura w yardstick
accuracy(pred_combined,
         estimate = .pred_class,
         truth = true_class)
  .metric     .estimate
  <chr>           <dbl>
1 accuracy        0.708
Uczenie maszynowe z modelami drzewiastymi w R

Czas na ocenę!

Uczenie maszynowe z modelami drzewiastymi w R

Preparing Video For Download...