Automatizare în strategiile de implementare MLOps

MLOps complet automatizat

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Implementarea modelului - serviciu de predicție

Imagine a arhitecturii de referință MLOps cu elementul evidențiat: serviciul de predicție.

MLOps complet automatizat

Servicii de predicție - recapitulare moduri

Predicțiile pot fi servite prin:

  • Batch
  • Streaming
  • Timp real
  • Edge
MLOps complet automatizat

Serviciu de predicție - servire batch

$$

  • Număr mare de predicții

$$

  • Planificări periodice

$$

  • Declanșat de evenimente

$$

$$

$$

Figură reprezentând procesarea batch. Toate datele de intrare sunt livrate unui motor de procesare batch. Toate rezultatele sunt livrate simultan după procesarea întregului input.

MLOps complet automatizat

Serviciu de predicție - servire streaming

$$

  • Date primite continuu

$$

  • Predicții livrate continuu

$$

$$

Figură reprezentând procesarea streaming. Elementele sunt livrate continuu unui motor de procesare. Rezultatele sunt livrate continuu unui flux de ieșire.

MLOps complet automatizat

Serviciu de predicție - timp real

$$

  • Înregistrare individuală

$$

  • Predicții instantanee

$$

$$

realtime_interaction.png

MLOps complet automatizat

Serviciu de predicție - la margine (edge)

$$

  • Dispozitive mobile

$$

  • Dispozitive IoT

$$

  • Latență redusă

$$

Imagine a unei aplicații IoT rulând pe o tabletă.

MLOps complet automatizat

Strategii de implementare

$$

Tipul de servire ML determină cum implementăm și actualizăm serviciile de predicție

Strategiile de implementare a modelelor includ:

  • Implementare shadow
  • Implementare canary
  • Testare A/B
  • Blue/Green
MLOps complet automatizat

Testare A/B

Figură reprezentând testarea A/B într-un serviciu de predicție. Cererile sunt trimise unui load balancer, care le distribuie modelelor A și B. Performanța ambelor modele este monitorizată continuu.

MLOps complet automatizat

Testare A/B

Figură a testării A/B. După monitorizare suficientă, modelul B a performat mai bine. Toate cererile sunt redirecționate către modelul cu performanță mai bună.

MLOps complet automatizat

Implementare shadow

Figură a implementării shadow. Cererile sunt trimise unui load balancer, care le livrează atât modelului live, cât și celui shadow. Doar modelul live returnează predicții. Performanța ambelor modele este monitorizată continuu.

MLOps complet automatizat

Implementare Blue/Green

Figură a implementării blue/green. Un model este activ în producție în mediul blue.

MLOps complet automatizat

Implementare Blue/Green

Un model actualizat este implementat într-o replică a mediului blue — mediul green. Cererile încep să fie redirecționate automat de la blue la green printr-un modul de comutare a traficului.

MLOps complet automatizat

Implementare Blue/Green

Figură a implementării blue/green. Tot traficul este comutat treptat și automat de la mediul blue la cel green.

MLOps complet automatizat

Implementare Blue/Green

După comutarea completă a traficului, mediul blue poate fi șters. Mediul green cu modelul actualizat devine noul mediu de producție.

MLOps complet automatizat

Implementarea și actualizarea serviciilor de predicție

$$

Tipul modelului determină strategia de implementare

Tabel cu strategiile de implementare și proprietățile lor în 4 dimensiuni: fără întreruperi, bazat pe condiții, timp de rollback și costuri suplimentare.

MLOps complet automatizat

Să exersăm!

MLOps complet automatizat

Preparing Video For Download...