Błąd generalizacji

Uczenie maszynowe z modelami drzewiastymi w Pythonie

Elie Kawerk

Data Scientist

Uczenie nadzorowane – mechanizm działania

Uczenie nadzorowane: $y =f(x)$, $f$ jest nieznane.

zaszumiony zbiór danych

Cele uczenia nadzorowanego

Znaleźć model $\hat{f}$ najlepiej przybliżający $f$: $\hat{f} \approx f$
$\hat{f}$ może być regresją logistyczną, drzewem decyzyjnym, siecią neuronową...
Eliminować szum w jak największym stopniu.
Cel końcowy: $\hat{f}$ powinien osiągać niski błąd predykcji na nowych danych.

Trudności w przybliżaniu $f$

Przeuczenie (Overfitting):

$\hat{f}(x)$ dopasowuje się do szumu w zbiorze treningowym.

Niedouczenie (Underfitting):

$\hat{f}$ nie jest wystarczająco elastyczny, aby przybliżyć $f$.

Przeuczenie (Overfitting)

przeuczenie

Niedouczenie (Underfitting)

niedouczenie

Błąd generalizacji

Błąd generalizacji $\hat{f}$: Czy $\hat{f}$ dobrze generalizuje na nowych danych?
Można go rozłożyć następująco:

Błąd generalizacji $\hat{f} = bias^2 + variance + \text{irreducible error}$

Obciążenie (Bias)

Obciążenie (Bias): składnik błędu mówiący, o ile średnio $\hat{f} \neq f$.

wysokie obciążenie

Wariancja

Wariancja: mierzy, jak bardzo $\hat{f}$ zmienia się dla różnych zbiorów treningowych.

wysoka wariancja

Złożoność modelu

Złożoność modelu: określa elastyczność $\hat{f}$.
Przykład: maksymalna głębokość drzewa, minimalna liczba próbek w liściu, ...

Kompromis Bias-Wariancja

rozkład błędu generalizacji

Kompromis Bias-Wariancja: wyjaśnienie wizualne

wizualizacja bias-wariancja

Czas na ćwiczenia!

Uczenie maszynowe z modelami drzewiastymi w Pythonie

Preparing Video For Download...