정확도 지표: 회귀 모델

Python에서의 모델 검증

Kasey Jones

Data Scientist

회귀 모델

회귀 모델은 연속형 변수를 예측합니다. 예: 점수, 갤런 수, 강아지 수

Python에서의 모델 검증

평균절대오차(MAE)

 

$$ MAE = \frac{\sum_{i=1}^{n} |y_i - \hat{y}_i|}{n} $$

  • 가장 단순하고 직관적인 지표
  • 모든 오차를 동일하게 취급
  • 이상치에 둔감
Python에서의 모델 검증

평균제곱오차(MSE)

 

$$ MSE = \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i) ^2}{n} $$

  • 가장 널리 쓰이는 회귀 지표
  • 큰 오차(이상치)가 전체 오차에 더 크게 기여
  • 예: 돌발 가족 여행은 예측 오차를 크게 만들 수 있음
Python에서의 모델 검증

MAE vs. MSE

  • 정확도 지표는 항상 용도에 따라 다름
  • MAE와 MSE는 단위가 달라 직접 비교 불가
Python에서의 모델 검증

평균절대오차

rfr = RandomForestRegressor(n_estimators=500, random_state=1111)
rfr.fit(X_train, y_train)
test_predictions = rfr.predict(X_test)

sum(abs(y_test - test_predictions))/len(test_predictions)

9.99

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_test, test_predictions)

9.99
Python에서의 모델 검증

평균제곱오차

sum(abs(y_test - test_predictions)**2)/len(test_predictions)

141.4

from sklearn.metrics import mean_squared_error
mean_squared_error(y_test, test_predictions)

141.4
Python에서의 모델 검증

데이터 하위집합의 정확도

chocolate_preds = rfr.predict(X_test[X_test[:, 1] == 1])
mean_absolute_error(y_test[X_test[:, 1] == 1], chocolate_preds)

8.79

nonchocolate_preds = rfr.predict(X_test[X_test[:, 1] == 0])
mean_absolute_error(y_test[X_test[:, 1] == 0], nonchocolate_preds)

10.99
Python에서의 모델 검증

연습해 봅시다

Python에서의 모델 검증

Preparing Video For Download...