Modeller med slumpmässiga skogar

Dimensionsreduktion i R

Matt Pickard

Owner, Pickard Predictives, LLC

Random Forest

En ensemblemodell
- ett "kollektiv visdom"-angreppssätt
Aggregerar prediktioner från många slumpmässiga träd
Slumpmässiga, okorrelerade träd minskar felen
Undviker överanpassning
Träffsäker
Utför särdragsurval

Ett diagram som visar en ensemblemodell bestående av flera beslutsträd och hur deras röster kombineras till en gemensam slutröst.

Random Forest

Det här diagrammet visar hur olika delträd skapas med olika delmängder av särdrag.

Träna en Random Forest

library(tidymodels)


rf <- rand_forest(mode = "classification",  trees = 200) %>% 
  set_engine("ranger", importance = "impurity")


rf_fit <- rf %>% 
  fit(credit_score ~ ., data = train)


predict_df <- test %>%  
  bind_cols(predict = predict(rf_fit, test))

Utvärdera modellen

f_meas(predict_df, credit_score, .pred_class)

0.6895

Variabelvikt

library(vip)

rf_fit %>% vip()

Ett stapeldiagram över variabelvikt.

Särdragsmask

top_features <- rf_fit %>% 
  vi(rank = TRUE) %>% 
  filter(Importance <= 10) %>% 
  pull(Variable)

top_features

 [1] "outstanding_debt"        "interest_rate"          
 [3] "delay_from_due_date"     "changed_credit_limit"   
 [5] "credit_history_months"   "num_credit_card"        
 [7] "monthly_balance"         "num_of_delayed_payment" 
 [9] "annual_income"           "amount_invested_monthly"

Reducera data

train_reduced <- train[top_features]
test_reduced <- test[top_features]

Prestanda

rf_fit <- rf %>% 
  fit(credit_score ~ ., data = train_reduced) 

predict_reduced_df <- test_reduced %>%  
  bind_cols(predict = predict(rf_fit, test_reduced)) 

f_meas(predict_reduced_df, credit_score, .pred_class)

0.6738

F-poäng för den oreducerade modellen:

0.6895

Nu kör vi en övning!

Dimensionsreduktion i R