Manutenzione del modello

Deployment e ciclo di vita in MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

In precedenza...

  • Come intercettare anomalie e disturbi?

 

Focus di questa lezione: guasti del modello di ML

Deployment e ciclo di vita in MLOps

modello deteriorato

Deployment e ciclo di vita in MLOps

migliorare il modello

Deployment e ciclo di vita in MLOps

migliorare il dataset

Deployment e ciclo di vita in MLOps

model-centric

Deployment e ciclo di vita in MLOps

data centric

1 https://datacentricai.org/
Deployment e ciclo di vita in MLOps

Qualità sopra quantità

  • Aggiungi feature con informazioni rilevanti
  • Ottieni etichette migliori

 

Label == valore della variabile target nel training set

Qualità delle label == prossimità dell'etichetta alla ground truth

Deployment e ciclo di vita in MLOps

etichette scadenti

Deployment e ciclo di vita in MLOps

predizione scadente

Deployment e ciclo di vita in MLOps

Vantaggi degli strumenti di labeling

L'etichettatura manuale è complessa, lunga, soggetta a errori

Usa buoni strumenti di labeling!

  • Etichettatura più efficiente
  • Più accurata
  • Interfaccia adatta allo scopo
  • "Etichetta prima questi esempi per il massimo impatto"
  • "Sembra ci sia un errore qui"

strumento di labeling

Esempio: strumento di etichettatura immagini, per creare image classifier

Deployment e ciclo di vita in MLOps

human in the loop

Deployment e ciclo di vita in MLOps

HIL 2

Deployment e ciclo di vita in MLOps

input esperti

Deployment e ciclo di vita in MLOps

Deployment e ciclo di vita in MLOps

Quando arrivano le etichette

  • Esegui la pipeline di build ML => Nuovo modello
  • Verifica se il nuovo modello è migliore del precedente
    • SÌ => testa e distribuisci
    • NO => continua a cercare,
Deployment e ciclo di vita in MLOps

Continua a cercare

  • Prova nuovi modelli
  • Prova nuove feature
  • Prova nuove fonti dati

 

Utilissimo: Metadata store (MLFlow Tracking, ecc.)

  • Documenta il percorso di selezione del modello
  • Evita di ripetere gli stessi esperimenti

 

In ogni caso: MLOps ci aiuta a mantenere il modello nel modo più rapido ed efficiente

Deployment e ciclo di vita in MLOps

Esercitiamoci!

Deployment e ciclo di vita in MLOps

Preparing Video For Download...