Valutare le prestazioni

Capire il Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

Fase di valutazione

Capire il Machine Learning

Overfitting

  • Va benissimo sui dati di training
  • Va male sui dati di test
  • Il modello ha memorizzato i dati di training e non generalizza a nuovi dati
  • Usa il set di test per verificare le prestazioni
Capire il Machine Learning

Illustrare l'overfitting

overfitting

Capire il Machine Learning

Accuratezza

  • Accuratezza = osservazioni classificate correttamente / tutte le osservazioni
  • 48 / 50 = 96%

classificatore lineare dalla prima lezione

Capire il Machine Learning

Limiti dell'accuratezza: esempio di frode

$$

Accuratezza del modello:

$$\frac{28\ correttamente\ classificati}{30\ punti\ totali}=93{,}33\%$$

  • Mancano la maggior parte delle transazioni fraudolente
  • Serve una metrica migliore
Capire il Machine Learning

Matrice di confusione

matrice di confusione

Capire il Machine Learning

Vere positive

Capire il Machine Learning

Vere positive

Capire il Machine Learning

Falsi negativi

Capire il Machine Learning

Falsi negativi

Capire il Machine Learning

Ricordare i falsi negativi

fp.jpg

Capire il Machine Learning

Completa il resto...

Capire il Machine Learning

Falsi positivi, veri negativi

Capire il Machine Learning

Ricordare i falsi positivi

fn2.jpg

Capire il Machine Learning

Sensibilità

Quante transazioni fraudolente abbiamo classificato correttamente?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33{,}33\% $$

  • Meglio segnalare come sospette quelle legittime che autorizzare quelle fraudolente
Capire il Machine Learning

Specificità

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filtro spam:

  • Meglio mandare spam in posta in arrivo che email vere nella cartella spam
Capire il Machine Learning

Valutare la regressione

Capire il Machine Learning

Valutare la regressione

  • Errore = distanza tra punto (valore reale) e retta (valore previsto)
  • Molti modi per calcolarlo, es. root mean square error
Capire il Machine Learning

Apprendimento non supervisionato

scegli la tua avventura

1 https://www.flickr.com/photos/micahdowty/8540188997
Capire il Machine Learning

Passiamo alla pratica !

Capire il Machine Learning

Preparing Video For Download...