Perché devi monitorare il tuo modello

Concetti di Monitoring per il Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Machine learning in produzione

Processo di sviluppo tipico

Il flusso a freccia ha quattro elementi essenziali: definire il progetto, preparare i dati, addestrare il modello e distribuirlo.

Dopo la messa in produzione

Questa è una versione aggiornata del flusso di sviluppo data science, con una nuova freccia per il monitoraggio dopo la fase di deployment. Sono state aggiunte frecce che collegano il monitoraggio alle fasi precedenti di preparazione dei dati, training del modello e deployment, per miglioramenti iterativi basati sugli insight delle prestazioni del modello.

Ridurre il rischio di fallimento

Il caso Zillow

Cartello "In vendita" davanti a una casa.

Perché un modello può fallire:

Problemi software
Drift nei dati in input
Cambiamenti nella relazione tra feature e target

Massimizzare l'impatto sul business

Ottimizzare il modello rispetto agli obiettivi di business

Ridurre i costi cloud

L'immagine mostra una piramide di sei blocchi di legno. La base crea una KPI da ogni lettera su ogni blocco. Gli altri strati rappresentano crescita, raggiungimento obiettivi ed efficienza.

L'immagine mostra il logo a forma di nuvola, composto da nove blocchi di legno.

Migliorare la sicurezza dell'IA

Tre problemi di sicurezza:

Bias: output equo per gruppi diversi di utenti

Attacchi adversariali: rilevare manomissioni malevole dei dati in input

Scarsa spiegabilità: capire come il modello prende decisioni

L'immagine mostra un blocco di legno con una scala di misura, spinto in avanti a simboleggiare più giustizia nel sistema e quindi meno bias.

L'immagine mostra un blocco di legno spinto in avanti con un lucchetto, simbolo di maggiore sicurezza.

L'immagine mostra un blocco di legno spinto in avanti, con linee che partono da una testa per rappresentare una maggiore comprensione del sistema di intelligenza.

Cambiare il mondo con i dati

Il processo di automazione

L'immagine mostra una linea di produzione automatizzata.

Ayo berlatih!

Concetti di Monitoring per il Machine Learning