Hodnocení výkonu

Porozumění strojovému učení

Hadrien Lacroix

Content Developer at DataCamp

Krok hodnocení

Porozumění strojovému učení

Přetrénování

  • Na trénovacích datech funguje skvěle
  • Na testovacích datech funguje špatně
  • Model si trénovací data zapamatoval a nedokáže zobecnit na nová data
  • K ověření výkonu modelu použijte testovací sadu
Porozumění strojovému učení

Ilustrace přetrénování

přetrénování

Porozumění strojovému učení

Přesnost

  • Přesnost = správně klasifikovaná pozorování / všechna pozorování
  • 48 / 50 = 96 %

lineární klasifikátor z první lekce

Porozumění strojovému učení

Limity přesnosti: příklad podvodu

$$

Přesnost tohoto modelu:

$$\frac{28\ správně\ klasifikovaných}{30\ celkových\ bodů}=93{,}33\%$$

  • Přehlíží většinu podvodných transakcí
  • Je potřeba lepší metrika
Porozumění strojovému učení

Matice záměn

matice záměn

Porozumění strojovému učení

Pravdivě pozitivní

Porozumění strojovému učení

Pravdivě pozitivní

Porozumění strojovému učení

Falešně negativní

Porozumění strojovému učení

Falešně negativní

Porozumění strojovému učení

Jak si zapamatovat falešně negativní

fp.jpg

Porozumění strojovému učení

Doplňte zbytek...

Porozumění strojovému učení

Falešně pozitivní, pravdivě negativní

Porozumění strojovému učení

Jak si zapamatovat falešně pozitivní

fn2.jpg

Porozumění strojovému učení

Sensitivita

Kolik podvodných transakcí jsme klasifikovali správně?

$$Sensitivita = \frac{pravdivě\ pozitivní}{pravdivě\ pozitivní + falešně\ negativní} =1/3=33{,}33\% $$

  • Raději označíme legitimní transakce jako podezřelé, než abychom autorizovali podvodné transakce
Porozumění strojovému učení

Specificita

$$Specificita = \frac{pravdivě\ negativní}{pravdivě\ negativní + falešně\ pozitivní}$$

Spamový filtr:

  • Raději doručíme spam do doručené pošty, než abychom přesunuli skutečné e-maily do složky spamu
Porozumění strojovému učení

Hodnocení regrese

Porozumění strojovému učení

Hodnocení regrese

  • Chyba = vzdálenost mezi bodem (skutečná hodnota) a přímkou (predikovaná hodnota)
  • Existuje mnoho způsobů výpočtu, např. střední kvadratická chyba
Porozumění strojovému učení

Učení bez učitele

vyberte si vlastní dobrodružství

1 https://www.flickr.com/photos/micahdowty/8540188997
Porozumění strojovému učení

Pojďme cvičit!

Porozumění strojovému učení

Preparing Video For Download...