Fler modellmått

Maskininlärning med trädbaserade modeller i R

Sandro Raabe

Data Scientist

Noggrannhetens begränsningar

En "naiv" modell som alltid förutsäger no kan ha 98% noggrannhet

$\rightarrow$ Möjligt i en obalanserad datamängd med 98% negativa urval

Sensitivitet eller sant positivt utfall

Andelen av alla positiva utfall som klassificerades korrekt

konfusionsmatris som visar sensitivitet

Specificitet eller sant negativt utfall

Andelen av alla negativa utfall som klassificerades korrekt

konfusionsmatris som visar sant negativt utfall

tabell som visar olika tröskelvärden

ROC-kurva (Receiver-operating-characteristic)

Visualiserar en klassificeringsmodells prestanda över alla möjliga tröskelvärden

ROC-kurva

ROC-kurva och AUC

olika ROC-kurvor

Arean under ROC-kurvan

AUC-diagram

AUC = 0,5
Prestandan är inte bättre än slumpen

AUC = 1
Alla exempel klassificeras korrekt vid varje tröskel $\rightarrow$ perfekt modell

AUC = 0
Alla exempel klassificeras felaktigt

yardstick-sensitivitet: sens()

predictions

# A tibble: 153 x 2
.pred_class   true_class
      <fct>        <fct>     
 1      yes           no        
 2       no           no        
 3       no          yes       
 4      yes          yes

# Calculate single-threshold sensitivity
sens(predictions, 
     estimate = .pred_class, 
     truth = true_class)

# A tibble: 1 x 2
  .metric        .estimate
  <chr>              <dbl>
1 sensitivity        0.872

Liknande argument som accuracy() och conf_mat()

yardstick ROC: roc_curve()

# Predict probabilities on test set
predictions <- predict(model,
                       data_test,

                       type = "prob") %>%

        bind_cols(data_test)

# A tibble: 9,116 x 13
   .pred_yes still_customer age gender    ...
       <dbl> <fct>         <int> <fct>    ...
 1    0.0557 no               45 M        ...
 2    0.0625 no               49 F        ...
 3    0.330  no               51 M        ...
 4    ...
 ...

# Calculate the ROC curve for all thresholds
roc <- roc_curve(predictions,

                 estimate = .pred_yes,

                 truth = still_customer)

# Plot the ROC curve
autoplot(roc)

roc-kurva

yardstick AUC: roc_auc()

Samma argument: data, prediktorkolumn, sanningskolumn

# Calculate area under curve
roc_auc(predictions, 
        estimate = .pred_yes, 
        truth = still_customer)

# A tibble: 1 x 3
  .metric .estimator .estimate
  <chr>   <chr>          <dbl>
1 roc_auc binary         0.872

Nu kör vi en övning!

Maskininlärning med trädbaserade modeller i R