Modelli Random Forest

Riduzione della dimensionalità in R

Matt Pickard

Owner, Pickard Predictives, LLC

Random Forest

Un modello di ensemble
- un approccio da "saggezza della folla"
Aggrega le previsioni di molti alberi casuali
Alberi non correlati riducono l'errore
Evita l'overfitting
Accurato
Esegue selezione delle feature

Diagramma di un modello di ensemble con più alberi decisionali e la combinazione dei loro voti in un voto finale.

Random Forest

Questo diagramma mostra come si creano diversi sottoalberi usando sottoinsiemi di feature.

Allena una Random Forest

library(tidymodels)


rf <- rand_forest(mode = "classification",  trees = 200) %>% 
  set_engine("ranger", importance = "impurity")


rf_fit <- rf %>% 
  fit(credit_score ~ ., data = train)


predict_df <- test %>%  
  bind_cols(predict = predict(rf_fit, test))

Valuta il modello

f_meas(predict_df, credit_score, .pred_class)

0.6895

Importanza variabili

library(vip)

rf_fit %>% vip()

Un grafico a barre dell'importanza delle variabili.

Maschera delle feature

top_features <- rf_fit %>% 
  vi(rank = TRUE) %>% 
  filter(Importance <= 10) %>% 
  pull(Variable)

top_features

 [1] "outstanding_debt"        "interest_rate"          
 [3] "delay_from_due_date"     "changed_credit_limit"   
 [5] "credit_history_months"   "num_credit_card"        
 [7] "monthly_balance"         "num_of_delayed_payment" 
 [9] "annual_income"           "amount_invested_monthly"

Riduci i dati

train_reduced <- train[top_features]
test_reduced <- test[top_features]

Prestazioni

rf_fit <- rf %>% 
  fit(credit_score ~ ., data = train_reduced) 

predict_reduced_df <- test_reduced %>%  
  bind_cols(predict = predict(rf_fit, test_reduced)) 

f_meas(predict_reduced_df, credit_score, .pred_class)

0.6738

F-score del modello non ridotto:

0.6895

Passons à la pratique !

Riduzione della dimensionalità in R