Galat Generalisasi

Machine Learning dengan Model Berbasis Pohon di Python

Elie Kawerk

Data Scientist

Pembelajaran Terawasi - Di Balik Layar

  • Pembelajaran terawasi: $y =f(x)$, $f$ tidak diketahui.

dataset-berisik

Machine Learning dengan Model Berbasis Pohon di Python

Tujuan Pembelajaran Terawasi

  • Temukan model $\hat{f}$ yang mendekati $f$: $\hat{f} \approx f$

  • $\hat{f}$ bisa berupa Logistic Regression, Decision Tree, Neural Network, ...

  • Buang noise sebanyak mungkin.

  • Tujuan akhir: $\hat{f}$ mencapai galat prediksi rendah pada data baru.

Machine Learning dengan Model Berbasis Pohon di Python

Tantangan Mendekati $f$

  • Overfitting:

    $\hat{f}(x)$ menyesuaikan noise pada data latih.

  • Underfitting:

    $\hat{f}$ tidak cukup fleksibel untuk mendekati $f$.

Machine Learning dengan Model Berbasis Pohon di Python

Overfitting

overfitting

Machine Learning dengan Model Berbasis Pohon di Python

Underfitting

underfitting

Machine Learning dengan Model Berbasis Pohon di Python

Galat Generalisasi

  • Galat generalisasi $\hat{f}$: Apakah $\hat{f}$ bekerja baik pada data baru?

  • Dapat diuraikan sebagai berikut:

    Galat generalisasi $\hat{f} = bias^2 + varians + \text{galat tak tereduksi}$

Machine Learning dengan Model Berbasis Pohon di Python

Bias

  • Bias: galat yang menunjukkan seberapa jauh rata-rata $\hat{f} \neq f$.

bias-tinggi

Machine Learning dengan Model Berbasis Pohon di Python

Varians

  • Varians: menunjukkan seberapa tidak konsisten $\hat{f}$ di berbagai set latih.

varians-tinggi

Machine Learning dengan Model Berbasis Pohon di Python

Kompleksitas Model

  • Kompleksitas model: menentukan fleksibilitas $\hat{f}$.

  • Contoh: Kedalaman pohon maks., Minimum sampel per daun, ...

Machine Learning dengan Model Berbasis Pohon di Python

Trade-off Bias–Varians

dekomposisi-generalisasi

Machine Learning dengan Model Berbasis Pohon di Python

Trade-off Bias–Varians: Penjelasan Visual

visual-bias-varians

Machine Learning dengan Model Berbasis Pohon di Python

Ayo berlatih!

Machine Learning dengan Model Berbasis Pohon di Python

Preparing Video For Download...