Modalità di serving

Deployment e ciclo di vita in MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Serving e modalità di serving

• Fornire un servizio di previsione == Model serving
• Implementazione di un tipo specifico di serving == Serving mode

 

Scegli con cura!

Previsione batch: meglio semplice

• La previsione batch è la più semplice
• Se il caso d'uso lo consente, usala
• Esempio adatto: previsioni vendite generate ogni mese

Latenza accettabile

Cosa è accettabile?

• < 1 ora?
• < 1 minuto?
• < 1 secondo?
• < 1 millisecondo?

Previsione quasi in tempo reale, alias Stream processing

Latenza accettabile ~= X minuti

Detta anche stream processing (richieste e risposte formano "flussi di dati")

Previsione in tempo reale

Latenza accettabile < 1 sec

Esempio:

• Rilevamento di frodi con carta di credito
• Se in ritardo, la previsione è quasi inutile

Quando la latenza è prioritaria

• Un modello più debole ma più veloce vale più di uno più forte ma lento
• Modelli distribuiti sui dispositivi degli utenti per ridurre la latenza => "edge deployment"
  • App smartphone con ML:
    • app di navigazione
    • sblocco con riconoscimento facciale
    • filtri immagine

Esercitiamoci!

Deployment e ciclo di vita in MLOps