Chyba zobecnění

Machine Learning with Tree-Based Models in Python

Elie Kawerk

Data Scientist

Učení s učitelem – pod pokličkou

  • Učení s učitelem: $y =f(x)$, $f$ je neznámá.

zašuměná datová sada

Machine Learning with Tree-Based Models in Python

Cíle učení s učitelem

  • Nalezení modelu $\hat{f}$, který nejlépe aproximuje $f$: $\hat{f} \approx f$

  • $\hat{f}$ může být logistická regrese, rozhodovací strom, neuronová síť ...

  • Maximálně eliminovat šum.

  • Cíl: $\hat{f}$ by mělo dosáhnout nízké predikční chyby na neviděných datech.

Machine Learning with Tree-Based Models in Python

Problémy při aproximaci $f$

  • Přetrénování (Overfitting):

    $\hat{f}(x)$ se přizpůsobí šumu trénovací sady.

  • Nedostatečné trénování (Underfitting):

    $\hat{f}$ není dostatečně flexibilní pro aproximaci $f$.

Machine Learning with Tree-Based Models in Python

Přetrénování (Overfitting)

přetrénování

Machine Learning with Tree-Based Models in Python

Nedostatečné trénování (Underfitting)

nedostatečné trénování

Machine Learning with Tree-Based Models in Python

Chyba zobecnění

  • Chyba zobecnění $\hat{f}$: Zobecňuje $\hat{f}$ dobře na neviděná data?

  • Lze ji rozložit takto:

    Chyba zobecnění $\hat{f} = bias^2 + variance + \text{irreducible error}$

Machine Learning with Tree-Based Models in Python

Vychýlení (Bias)

  • Vychýlení (Bias): chybový člen vyjadřující, jak moc průměrně $\hat{f} \neq f$.

vysoké vychýlení

Machine Learning with Tree-Based Models in Python

Rozptyl (Variance)

  • Rozptyl (Variance): vyjadřuje, jak moc je $\hat{f}$ nestabilní napříč různými trénovacími sadami.

vysoký rozptyl

Machine Learning with Tree-Based Models in Python

Složitost modelu

  • Složitost modelu: určuje flexibilitu $\hat{f}$.

  • Příklady: maximální hloubka stromu, minimální počet vzorků v listu, ...

Machine Learning with Tree-Based Models in Python

Kompromis vychýlení a rozptylu

rozklad chyby zobecnění

Machine Learning with Tree-Based Models in Python

Kompromis vychýlení a rozptylu: vizuální vysvětlení

vizualizace vychýlení a rozptylu

Machine Learning with Tree-Based Models in Python

Pojďme si procvičit!

Machine Learning with Tree-Based Models in Python

Preparing Video For Download...