Il flusso ideale di monitoraggio

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Flussi di monitoraggio

Flusso di monitoraggio tradizionale

  • Calcolare le prestazioni tecniche

  • Allertare in base ai drift nei dati in input

  • Porta a molti falsi allarmi

Flusso di monitoraggio ideale

  • Monitoraggio delle prestazioni tecniche

    • Calcolare e stimare le prestazioni

  • Analisi delle cause radice

    • Collega i drift ai cali di prestazioni

 

Il flusso ideale: prima monitoraggio delle prestazioni; se degradano, si fa root cause analysis e poi si risolve il problema.

Concetti di Monitoring per il Machine Learning

Monitorare le prestazioni

Include:

  • Calcolo delle prestazioni – metriche tecniche come l'accuratezza

 

  • Stima delle prestazioni – se manca la ground truth

 

  • Misura dell’impatto di business – monitorare gli indicatori chiave (KPI)

  Il grafico mostra l'accuratezza nel tempo che scende sotto la soglia.

Il grafico KPI vs tempo mostra KPI entro le soglie nel tempo.

Concetti di Monitoring per il Machine Learning

Root Cause Analysis

L’obiettivo è indagare:

 

  • Covariate shift – cambiamenti nella distribuzione dei dati in input

 

  • Concept drift – cambiamenti nella relazione tra feature e target

Il grafico mostra il confine decisionale tra cerchi blu e rossi per un modello funzionante.

Il grafico mostra lo spostamento dei cerchi blu oltre il confine: covariate shift.

Il grafico illustra il cambiamento del confine decisionale: concept drift.

Concetti di Monitoring per il Machine Learning

Risoluzione dei problemi

Possibili soluzioni:

  • Retraining – richiede più dati e calcolo

 

  • Refactoring del caso d’uso – fare un passo indietro e ripensare i metodi

 

  • Modifica dei processi a valle – adattare i processi attorno alla previsione

  L'immagine mostra un cervello digitale (modello ML) e un segno più collegato a un database: retraining con più dati.

L'immagine mostra una lavagna con domande su feature engineering, feature usate e regressione lineare.

L'immagine mostra un operatore che verifica manualmente qualcosa al computer.

Concetti di Monitoring per il Machine Learning

Passons à la pratique !

Concetti di Monitoring per il Machine Learning

Preparing Video For Download...