Utvärdera prestanda

Introduktion till maskininlärning

Hadrien Lacroix

Content Developer at DataCamp

Utvärderingssteg

Överanpassning

Presterar utmärkt på träningsdata
Presterar dåligt på testdata
Modellen memorerade träningsdata och kan inte generalisera till nya data
Använd testuppsättningen för att kontrollera modellens prestanda

Illustrera överanpassning

överanpassning

Noggrannhet

Noggrannhet = korrekt klassificerade observationer / alla observationer
48 / 50 = 96%

linjär klassificerare från första lektionen

Noggrannhetens begränsningar: bedrägerier

$$

Denna modells noggrannhet:

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

Missar majoriteten av bedrägliga transaktioner
Ett bättre mått behövs

Konfusionsmatris

konfusionsmatris

Sanna positiva

Sanna positiva

Falska negativa

Falska negativa

Kom ihåg falska negativa

Fyll i resten...

Falska positiva, sanna negativa

Kom ihåg falska positiva

Sensitivitet

Hur många bedrägliga transaktioner klassificerade vi korrekt?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

Hellre markera legitima transaktioner som misstänkta än godkänna bedrägliga

Specificitet

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Skräppostfilter:

Hellre skicka skräppost till inkorgen än flytta riktiga mejl till skräppostmappen

Utvärdera regression

Utvärdera regression

Fel = avståndet mellan punkt (faktiskt värde) och linje (förutsagt värde)
Det finns många sätt att beräkna detta, t.ex. kvadratmedelrotsfelet

Oövervakad inlärning

välj ditt eget äventyr

¹ https://www.flickr.com/photos/micahdowty/8540188997

Nu kör vi en övning!

Introduktion till maskininlärning

Preparing Video For Download...