Компроміс між зміщенням і дисперсією

Валідація моделей у Python

Kasey Jones

Data Scientist

Дисперсія

Дисперсія: надто точне слідування тренувальним даним
- Погано узагальнює на тестові дані
- Низька помилка на тренуванні, але висока на тесті
- Виникає за перенавчання та надмірної складності моделей

Перенавчені моделі (висока дисперсія)

Перенавчання виникає, коли наші передбачення надто точно відтворюють тренувальні дані. Якщо на діаграмі розсіювання всі прогнози точно збігаються з реальними значеннями, імовірно, модель перенавчена.

Зміщення

Зміщення: нездатність знайти зв'язок між даними та відгуком
- Висока помилка на тренуванні/тесті
- Виникає за недонавчання моделей

Недонавчені моделі (високе зміщення)

Недонавчання виникає, коли між цільовою змінною та предикторами в моделі є зв'язок, але ми його не знайшли.

Оптимальна продуктивність

Добре налаштовані моделі знаходять зв'язок між предикторами та відгуком і водночас добре узагальнюють на нові дані.

Компроміс зміщення-дисперсія

Параметри, що спричиняють пере-/недонавчання

rfc = RandomForestClassifier(n_estimators=100, max_depth=4)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .84

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .77

rfc = RandomForestClassifier(n_estimators=100, max_depth=14)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: 1.0

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .83

rfc = RandomForestClassifier(n_estimators=100, max_depth=10)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .89

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .86

Пам'ятайте: лише ви можете запобігти перенавчанню!

Валідація моделей у Python