Eroarea de generalizare

Machine Learning cu modele bazate pe arbori în Python

Elie Kawerk

Data Scientist

Învățare supervizată - În profunzime

  • Învățare supervizată: $y =f(x)$, $f$ este necunoscută.

set de date cu zgomot

Machine Learning cu modele bazate pe arbori în Python

Obiectivele învățării supervizate

  • Găsiți un model $\hat{f}$ care aproximează cel mai bine $f$: $\hat{f} \approx f$

  • $\hat{f}$ poate fi Regresie Logistică, Arbore de Decizie, Rețea Neuronală ...

  • Eliminați zgomotul pe cât posibil.

  • Obiectiv final: $\hat{f}$ trebuie să obțină o eroare de predicție redusă pe date noi.

Machine Learning cu modele bazate pe arbori în Python

Dificultăți în aproximarea lui $f$

  • Supraajustare:

    $\hat{f}(x)$ se ajustează pe zgomotul din setul de antrenament.

  • Subajustare:

    $\hat{f}$ nu este suficient de flexibil pentru a aproxima $f$.

Machine Learning cu modele bazate pe arbori în Python

Supraajustare

supraajustare

Machine Learning cu modele bazate pe arbori în Python

Subajustare

subajustare

Machine Learning cu modele bazate pe arbori în Python

Eroarea de generalizare

  • Eroarea de generalizare a lui $\hat{f}$: $\hat{f}$ generalizează bine pe date noi?

  • Poate fi descompusă astfel:

    Eroarea de generalizare a lui $\hat{f} = bias^2 + variance + \text{eroare ireductibilă}$

Machine Learning cu modele bazate pe arbori în Python

Bias

  • Bias: termen de eroare care indică, în medie, cât de mult $\hat{f} \neq f$.

bias ridicat

Machine Learning cu modele bazate pe arbori în Python

Varianță

  • Varianță: indică cât de inconsistent este $\hat{f}$ pe seturi de antrenament diferite.

varianță ridicată

Machine Learning cu modele bazate pe arbori în Python

Complexitatea modelului

  • Complexitatea modelului: stabilește flexibilitatea lui $\hat{f}$.

  • Exemple: adâncimea maximă a arborelui, numărul minim de eșantioane per frunză, ...

Machine Learning cu modele bazate pe arbori în Python

Compromisul bias-varianță

descompunerea generalizării

Machine Learning cu modele bazate pe arbori în Python

Compromisul bias-varianță: Explicație vizuală

vizualizare bias-varianță

Machine Learning cu modele bazate pe arbori în Python

Să exersăm!

Machine Learning cu modele bazate pe arbori în Python

Preparing Video For Download...