Disponibilità del ground truth

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Ground truth istantaneo

Immagine di un taxi, legata alla previsione di arrivo dei taxi.

Misura le prestazioni reali
Valutazione facile
Accurato

Dati di produzione: istantanei

Il grafico mostra le prestazioni di un problema di classificazione: il "periodo di riferimento" è il dataset di test, il "periodo di analisi" è un flusso di dati di produzione. Inoltre, un dataset tabellare con valori di ground truth evidenziati.

Ground truth ritardato

Immagine di un portafoglio vuoto, legata alla previsione di insolvenza di un prestito.

Il ritardo dipende dall'applicazione
Esempio: previsione d'insolvenza del prestito
Prestazioni ignote nel frattempo
Serve stimare le prestazioni

Dati di produzione: ritardati

Ground truth assente

Immagine di una polizza assicurativa, legata al caso di pricing assicurativo.

Presente in processi completamente automatici
Esempio: pricing assicurativo
Prestazioni reali sconosciute
Serve stimare le prestazioni

Dati di produzione: assente

¡Vamos a practicar!

Concetti di Monitoring per il Machine Learning