การเลือกโมเดล: โมเดลการถดถอย

ฝึกตอบคำถามสัมภาษณ์ Machine Learning ด้วย Python

Lisa Stuart

Data Scientist

Multicollinearity

• ตัวแปรอิสระมีความสัมพันธ์กันสูง
• ค่าสัมประสิทธิ์การถดถอยที่ประมาณได้
  • การเปลี่ยนแปลงของตัวแปรตามที่อธิบายโดยตัวแปรอิสระ
  • โดยควบคุมตัวแปรอื่นให้คงที่

¹ https://eigenblogger.com/2010/03/26/post1426/

ผลกระทบของ multicollinearity

• ค่าสัมประสิทธิ์ลดลง
• ค่า p-value ลดลง
• ความแปรปรวนไม่เสถียร
• Overfitting
• นัยสำคัญทางสถิติลดลงเนื่องจาก standard error สูงขึ้น
• ความสัมพันธ์ที่แท้จริงกับตัวแปรเป้าหมายไม่ชัดเจน

เทคนิคจัดการ multicollinearity

• Correlation matrix
• Heatmap ของความสัมพันธ์
• คำนวณ variance inflation factor (VIF)
• นำ penalization มาใช้ (Ridge, Lasso)
• PCA

Correlation matrix vs heatmap

Variance inflation factor

ค่า VIF	Multicollinearity
<= 1	ไม่มี
> 1	มี แต่ไม่ต้องดำเนินการ
> 5	มี ต้องจัดการ

ฟังก์ชัน

ฟังก์ชัน/เมธอด	ค่าที่คืนกลับ
sklearn.linear_model.LinearRegression	Linear Regression
data.corr()	correlation matrix
sns.heatmap(corr)	heatmap ของความสัมพันธ์
mod.coef_	ค่าสัมประสิทธิ์โมเดลที่ประมาณได้
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	R-squared score
df.columns	ชื่อคอลัมน์

มาฝึกกันเถอะ!

ฝึกตอบคำถามสัมภาษณ์ Machine Learning ด้วย Python