Monitorare i servizi di Machine Learning

Deployment e ciclo di vita in MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Mantenere la qualità

  • Chi paga si aspetta qualità
  • L'assicurazione qualità parte dal controllo qualità
  • Monitoraggio
Deployment e ciclo di vita in MLOps

Indicatori di performance

Indicatori fondamentali di salute

  • Il servizio è attivo e stabile?
  • Quante richieste nel tempo?
  • Distribuzione della latenza?

 

Metrica di qualità principale

  • Prestazioni predittive

Come peggiorano i modelli di ML?

Deployment e ciclo di vita in MLOps

classificatore semplice

Deployment e ciclo di vita in MLOps

boundary appresa

Deployment e ciclo di vita in MLOps

modello addestrato

Deployment e ciclo di vita in MLOps

mondo che cambia

Deployment e ciclo di vita in MLOps

cambiamento 2

Deployment e ciclo di vita in MLOps

boundary spostata

Deployment e ciclo di vita in MLOps

concept drift

Deployment e ciclo di vita in MLOps

non cambiare è degradare

Deployment e ciclo di vita in MLOps

come rilevare

Deployment e ciclo di vita in MLOps

Deployment e ciclo di vita in MLOps

la difficoltà

Deployment e ciclo di vita in MLOps

per caso d'uso

Deployment e ciclo di vita in MLOps

mai gratis

Deployment e ciclo di vita in MLOps

usa ciò che hai

Deployment e ciclo di vita in MLOps

cambiamenti nelle feature di input

Deployment e ciclo di vita in MLOps

covariate shift

Deployment e ciclo di vita in MLOps

limiti del monitoraggio input

Deployment e ciclo di vita in MLOps

monitoraggio output

Deployment e ciclo di vita in MLOps

Esercitiamoci!

Deployment e ciclo di vita in MLOps

Preparing Video For Download...