Modele Random Forest

Reducerea dimensionalității în R

Matt Pickard

Owner, Pickard Predictives, LLC

Random Forest

  • Model de ansamblu
    • abordare bazată pe „înțelepciunea mulțimii"
  • Agregează predicțiile mai multor arbori aleatori
  • Arborii necorelați reduc eroarea
  • Evită supraadaptarea
  • Precis
  • Realizează selecția caracteristicilor

Diagramă care ilustrează un model de ansamblu format din mai mulți arbori de decizie și modul în care voturile acestora sunt combinate într-un vot final.

Reducerea dimensionalității în R

Random Forest

Diagramă care arată cum sunt creați subarbori diferiți folosind subseturi diferite de caracteristici.

Reducerea dimensionalității în R

Antrenarea unui Random Forest

library(tidymodels)


rf <- rand_forest(mode = "classification",  trees = 200) %>% 
  set_engine("ranger", importance = "impurity")


rf_fit <- rf %>% 
  fit(credit_score ~ ., data = train)


predict_df <- test %>%  
  bind_cols(predict = predict(rf_fit, test))
Reducerea dimensionalității în R

Evaluarea modelului

f_meas(predict_df, credit_score, .pred_class)

0.6895
Reducerea dimensionalității în R

Importanța variabilelor

library(vip)

rf_fit %>% vip()

Diagramă cu bare pentru importanța variabilelor.

Reducerea dimensionalității în R

Mască de caracteristici

top_features <- rf_fit %>% 
  vi(rank = TRUE) %>% 
  filter(Importance <= 10) %>% 
  pull(Variable)

top_features

 [1] "outstanding_debt"        "interest_rate"          
 [3] "delay_from_due_date"     "changed_credit_limit"   
 [5] "credit_history_months"   "num_credit_card"        
 [7] "monthly_balance"         "num_of_delayed_payment" 
 [9] "annual_income"           "amount_invested_monthly"
Reducerea dimensionalității în R

Reducerea datelor

train_reduced <- train[top_features]
test_reduced <- test[top_features]
Reducerea dimensionalității în R

Performanță

rf_fit <- rf %>% 
  fit(credit_score ~ ., data = train_reduced) 

predict_reduced_df <- test_reduced %>%  
  bind_cols(predict = predict(rf_fit, test_reduced)) 

f_meas(predict_reduced_df, credit_score, .pred_class) 

0.6738

Scorul F al modelului neredus: 

0.6895
Reducerea dimensionalității în R

Să exersăm!

Reducerea dimensionalității în R

Preparing Video For Download...