Metrici de acuratețe: modele de regresie

Validarea modelelor în Python

Kasey Jones

Data Scientist

Modele de regresie

Modelele de regresie prezic variabile continue, cum ar fi numărul de puncte, galoane sau pui!

Validarea modelelor în Python

Eroarea absolută medie (MAE)

 

$$ MAE = \frac{\sum_{i=1}^{n} |y_i - \hat{y}_i|}{n} $$

  • Cea mai simplă și intuitivă metrică
  • Tratează toate punctele în mod egal
  • Nu este sensibilă la valori extreme
Validarea modelelor în Python

Eroarea pătratică medie (MSE)

 

$$ MSE = \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i) ^2}{n} $$

  • Cea mai utilizată metrică de regresie
  • Valorile extreme contribuie mai mult la eroarea totală
  • Situațiile atipice pot genera erori mari în predicții
Validarea modelelor în Python

MAE vs. MSE

  • Metricile de acuratețe sunt întotdeauna specifice aplicației
  • Erorile MAE și MSE au unități diferite și nu trebuie comparate
Validarea modelelor în Python

Eroarea absolută medie

rfr = RandomForestRegressor(n_estimators=500, random_state=1111)
rfr.fit(X_train, y_train)
test_predictions = rfr.predict(X_test)

sum(abs(y_test - test_predictions))/len(test_predictions)

9.99

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_test, test_predictions)

9.99
Validarea modelelor în Python

Eroarea pătratică medie

sum(abs(y_test - test_predictions)**2)/len(test_predictions)

141.4

from sklearn.metrics import mean_squared_error
mean_squared_error(y_test, test_predictions)

141.4
Validarea modelelor în Python

Acuratețe pe un subset de date

chocolate_preds = rfr.predict(X_test[X_test[:, 1] == 1])
mean_absolute_error(y_test[X_test[:, 1] == 1], chocolate_preds)

8.79

nonchocolate_preds = rfr.predict(X_test[X_test[:, 1] == 0])
mean_absolute_error(y_test[X_test[:, 1] == 0], nonchocolate_preds)

10.99
Validarea modelelor în Python

Să exersăm!

Validarea modelelor în Python

Preparing Video For Download...