Att upptäcka och hantera multikollinearitet

HR-analys: Förutsäga personalomsättning i R

Anurag Gupta

People Analytics Practitioner

Förstå korrelation

Korrelation mäter sambandet mellan två numeriska variabler

Beräkna korrelation i R

# Calculate the correlation coefficient
cor(train_set$emp_age, train_set$compensation)

0.6117855

Vad är multikollinearitet?

Multikollinearitet uppstår när en oberoende variabel är starkt kolinjär med en kombination av två eller fler andra oberoende variabler.

Hur upptäcker man multikollinearitet?

VIF (Variance Inflation Factor)

# Load car package 
library(car)

# Logistic regression model
multi_log <- glm(turnover ~ ., family = "binomial",
                 data = train_set_multi)

# Calculate VIF  
vif(multi_log)

Variansinfaktorn (VIF)

                                     GVIF Df GVIF^(1/(2*Df))
location                     2.318640e+00  2        1.233981
level                        5.716850e+06  1     2390.993458
gender                       1.262625e+00  1        1.123666
rating                       4.381767e+00  4        1.202835
mgr_rating                   2.471489e+00  4        1.119747
mgr_reportees                1.314709e+00  1        1.146608
mgr_tenure                   1.278559e+00  1        1.130734
compensation                 3.998338e+01  1        6.323241
percent_hike                 3.167576e+00  1        1.779769
hiring_score                 1.143613e+00  1        1.069399
hiring_source                2.000099e+00  6        1.059467
no_previous_companies_worked 3.291703e+00  1        1.814305
distance_from_home           1.355795e+00  1        1.164386
total_dependents             1.930188e+00  1        1.389312
marital_status               2.320518e+00  1        1.523325
education                    1.460697e+00  1        1.208593
.....

Tumregler för att tolka VIF-värdet

VIF	Tolkning
1	Inte korrelerad
Mellan 1 och 5	Måttligt korrelerad
Större än 5	Starkt korrelerad

Hur hanterar man multikollinearitet?

Steg 1: Beräkna VIF för modellen
Steg 2: Kontrollera om någon variabel har VIF större än 5
- Steg 2a: Ta bort variabeln om dess VIF är 5 eller högre
- Steg 2b: Om flera variabler har VIF större än 5, ta bara bort den med högst VIF
Steg 3: Upprepa steg 1 och 2 tills alla variablers VIF är under 5

Ta bort en variabel från en modell

new_model <- glm(dependent_variable ~ . - variable_to_remove, 
                 family = "binomial", data = dataset)

Nu kör vi en övning!

HR-analys: Förutsäga personalomsättning i R