Stima delle prestazioni

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Panoramica

Due algoritmi di stima delle prestazioni:

  • CBPE - task di classificazione
  • DLE - task di regressione
Concetti di Monitoring per il Machine Learning

CBPE - Come funziona

  • Stima una matrice di confusione

 

  • Permette di calcolare metriche di classificazione come accuracy, precision, recall

 

  • Cattura l’impatto dello spostamento di covariate sul modello

 

L’algoritmo CBPE è illustrato in un’immagine che mostra come funziona. Il primo modello fa una previsione su un esempio e questa previsione determina la classe. Ad esempio, se il modello predice 0,9 per un esempio, la classe è positiva perché il valore è sopra 0,5. Altrimenti, se è sotto 0,5, la classe è negativa. Questo processo si applica a tutti gli esempi del dataset e i punteggi di confidenza risultanti vengono aggregati per generare una matrice di confusione stimata.

Concetti di Monitoring per il Machine Learning

CBPE - Considerazioni

  • Nessuno spostamento di covariate nelle regioni non viste

 

  • Nessun concept drift nei dati in arrivo

 

  • Richiede calibrazione delle probabilità
Concetti di Monitoring per il Machine Learning

DLE - Come funziona

  • Predice l’errore assoluto del modello

 

  • Usa un modello figlio esterno

 

  • Permette di calcolare varie metriche di regressione come MAE, MSE, MSLE

 

  • Cattura la presenza di spostamento di covariate nei dati in input

L’immagine descrive il processo di stima delle prestazioni per un task di regressione in produzione. Prima, i dati di analisi vengono passati al modello per generare previsioni. Queste, insieme ai dati di analisi, vengono poi passate al modello figlio, che predice l’errore. Usando questa previsione d’errore, si calcolano altre metriche di regressione per valutare le prestazioni del modello.

Concetti di Monitoring per il Machine Learning

DLE - Considerazioni

  • Nessuno spostamento di covariate nelle regioni non viste

 

  • Nessun concept drift nei dati in arrivo

 

  • Complessità extra
Concetti di Monitoring per il Machine Learning

Passiamo alla pratica !

Concetti di Monitoring per il Machine Learning

Preparing Video For Download...