Kompromis między odchyleniem a wariancją

Walidacja modeli w Pythonie

Kasey Jones

Data Scientist

Wariancja

Wariancja: zbyt ścisłe dopasowanie do danych treningowych
- Słaba generalizacja na dane testowe
- Niski błąd treningowy, wysoki testowy
- Wynika z przeuczenia i wysokiej złożoności modelu

Modele przeuczone (wysoka wariancja)

Przeuczenie następuje, gdy predykcje są zbyt ściśle dopasowane do danych treningowych. Jeśli na wykresie punktowym wszystkie predykcje pokrywają się z rzeczywistymi wartościami, model jest prawdopodobnie przeuczony.

Odchylenie

Odchylenie: brak wykrycia zależności między danymi a odpowiedzią
- Wysoki błąd treningowy i testowy
- Wynika z niedouczenia modelu

Modele niedouczone (wysokie odchylenie)

Niedouczenie następuje, gdy istnieje zależność między zmienną docelową a predyktorami, lecz model jej nie wykrył.

Optymalna wydajność

Dobrze dopasowane modele wykrywają zależności między predyktorami a odpowiedzią i jednocześnie dobrze generalizują na nowe dane.

Kompromis odchylenie-wariancja

Parametry powodujące nadmierne/niedostateczne dopasowanie

rfc = RandomForestClassifier(n_estimators=100, max_depth=4)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .84

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .77

rfc = RandomForestClassifier(n_estimators=100, max_depth=14)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: 1.0

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .83

rfc = RandomForestClassifier(n_estimators=100, max_depth=10)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .89

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .86

Pamiętaj – tylko Ty możesz zapobiec przeuczeniu!

Walidacja modeli w Pythonie