偵測與處理多重共線性

HR 分析：以 R 預測員工流失

Anurag Gupta

People Analytics Practitioner

認識相關性

相關係數衡量兩個數值變數之間的關聯程度

在 R 中計算相關性

# Calculate the correlation coefficient
cor(train_set$emp_age, train_set$compensation)

0.6117855

什麼是多重共線性？

多重共線性是指某個自變數與兩個或以上自變數的組合高度共線。

如何偵測多重共線性？

VIF（變異膨脹因子）

# Load car package 
library(car)

# Logistic regression model
multi_log <- glm(turnover ~ ., family = "binomial",
                 data = train_set_multi)

# Calculate VIF  
vif(multi_log)

變異膨脹因子

                                     GVIF Df GVIF^(1/(2*Df))
location                     2.318640e+00  2        1.233981
level                        5.716850e+06  1     2390.993458
gender                       1.262625e+00  1        1.123666
rating                       4.381767e+00  4        1.202835
mgr_rating                   2.471489e+00  4        1.119747
mgr_reportees                1.314709e+00  1        1.146608
mgr_tenure                   1.278559e+00  1        1.130734
compensation                 3.998338e+01  1        6.323241
percent_hike                 3.167576e+00  1        1.779769
hiring_score                 1.143613e+00  1        1.069399
hiring_source                2.000099e+00  6        1.059467
no_previous_companies_worked 3.291703e+00  1        1.814305
distance_from_home           1.355795e+00  1        1.164386
total_dependents             1.930188e+00  1        1.389312
marital_status               2.320518e+00  1        1.523325
education                    1.460697e+00  1        1.208593
.....

解讀 VIF 的經驗法則

VIF	解讀
1	無相關
介於 1 到 5	中度相關
大於 5	高度相關

如何處理多重共線性？

步驟 1：計算模型的 VIF
步驟 2：找出是否有變數的 VIF 大於 5
- 步驟 2a：若某變數 VIF = 5，將其自模型移除
- 步驟 2b：若有多個變數 VIF 大於 5，只移除 VIF 最高者
步驟 3：重複步驟 1 與 2，直到每個變數的 VIF 都小於 5

自模型移除變數

new_model <- glm(dependent_variable ~ . - variable_to_remove, 
                 family = "binomial", data = dataset)

一起來練習吧！

HR 分析：以 R 預測員工流失