모형 선택: 회귀 모형

Python으로 연습하는 Machine Learning 면접 질문

Lisa Stuart

Data Scientist

다중공선성

• 독립변수 간 높은 상관
• 추정 회귀계수
  • IV가 DV에 미치는 변화
  • 다른 변수는 고정 가정

¹ https://eigenblogger.com/2010/03/26/post1426/

다중공선성의 영향

• 계수 축소
• p-값 축소
• 분산 불안정
• 과적합
• 표준오차 증가로 유의성 저하
• 타깃과의 실제 관계 불명확

다중공선성 대처 기법

• 상관행렬
• 상관 히트맵
• 분산팽창지수(VIF) 계산
• 패널티 도입(Ridge, Lasso)
• PCA

상관행렬 vs 히트맵

분산팽창지수 (VIF)

VIF 값	다중공선성
<= 1	없음
> 1	있음, 무시 가능
> 5	있음, 조치 필요

함수

함수/메서드	반환
sklearn.linear_model.LinearRegression	선형회귀
data.corr()	상관행렬
sns.heatmap(corr)	상관 히트맵
mod.coef_	추정 회귀계수
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	결정계수(R²)
df.columns	열 이름

연습해 봅시다!

Python으로 연습하는 Machine Learning 면접 질문