Automazione nelle strategie di deployment MLOps

MLOps completamente automatizzato

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Deployment del modello - servizio di predizione

Architettura di riferimento MLOps con evidenziato: il servizio di predizione.

MLOps completamente automatizzato

Servizi di predizione - riepilogo modalità

Le predizioni possono essere servite in:

  • Batch
  • Stream
  • Real time
  • Edge
MLOps completamente automatizzato

Servizio di predizione - batch

$$

  • Molte predizioni

$$

  • Pianificazioni periodiche

$$

  • Attivazione su evento

$$

$$

$$

Figura del batch processing. Tutto l'input va a un motore batch. Tutto l'output arriva insieme dopo l'elaborazione dell'intero batch.

MLOps completamente automatizzato

Servizio di predizione - streaming

$$

  • Dati in arrivo continuo

$$

  • Predizioni consegnate in continuo

$$

$$

Figura dello stream processing. Gli elementi arrivano continuamente a un motore di streaming. Dopo l'elaborazione, gli output vengono inviati in continuo a uno stream di output.

MLOps completamente automatizzato

Servizio di predizione - real time

$$

  • Singolo record

$$

  • Predizioni istantanee

$$

$$

interazione in tempo reale

MLOps completamente automatizzato

Servizio di predizione - edge

$$

  • Dispositivi mobili

$$

  • Dispositivi IoT

$$

  • Latenza ridotta

$$

Immagine di un'app IoT in esecuzione su un tablet.

MLOps completamente automatizzato

Strategie di deployment

$$

I tipi di serving ML determinano come distribuire e aggiornare i servizi di predizione

Le strategie di deployment includono:

  • Shadow deployment
  • Canary deployment
  • A/B testing
  • Blue/Green
MLOps completamente automatizzato

A/B testing

Figura che rappresenta l'A/B testing in un servizio di predizione distribuito. Le richieste vanno a un load balancer, che le distribuisce ai modelli A e B. Le prestazioni dei modelli sono monitorate in continuo.

MLOps completamente automatizzato

A/B testing

Figura di un deployment A/B. Dopo un monitoraggio sufficiente, il modello B mostra performance migliori. Il sistema indirizza tutte le richieste al modello migliore.

MLOps completamente automatizzato

Shadow deployment

Figura di uno shadow deployment. Le richieste vanno a un load balancer, che le invia sia al modello live sia a quello shadow. Solo il modello live restituisce predizioni. Le prestazioni di entrambi sono monitorate in continuo.

MLOps completamente automatizzato

Deployment Blue/Green

Figura di un deployment Blue/Green. Un modello è live in produzione nell'ambiente blu.

MLOps completamente automatizzato

Deployment Blue/Green

Un modello aggiornato è distribuito in una replica dell'ambiente blu: l'ambiente verde. Un modulo di traffic switch reindirizza automaticamente il traffico dal blu al verde.

MLOps completamente automatizzato

Deployment Blue/Green

Figura di un deployment Blue/Green. Tutto il traffico viene spostato gradualmente e automaticamente dal blu al verde.

MLOps completamente automatizzato

Deployment Blue/Green

Dopo lo switch completo del traffico, l'ambiente blu può essere eliminato. L'ambiente verde con il modello aggiornato diventa il nuovo ambiente di produzione.

MLOps completamente automatizzato

Distribuire e aggiornare i servizi di predizione

$$

Il tipo di modello determina la strategia di deployment

Tabella con strategie di deployment e proprietà in 4 dimensioni: Nessun downtime, Basato su condizioni, Tempo di rollback e costi aggiuntivi.

MLOps completamente automatizzato

Passons à la pratique !

MLOps completamente automatizzato

Preparing Video For Download...