Automation i MLOps-driftsättningsstrategier

Fullt automatiserad MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Modelldriftsättning – prediktion­stjänst

Bild av MLOps-referensarkitekturen med ett markerat element: prediktion­stjänsten.

Fullt automatiserad MLOps

Prediktion­stjänster – lägesöversikt

Prediktioner kan levereras via:

  • Batch
  • Strömmar
  • Realtid
  • Edge
Fullt automatiserad MLOps

Prediktion­stjänst – batch-serving

$$

  • Stort antal prediktioner

$$

  • Periodiska scheman

$$

  • Händelsebaserad

$$

$$

$$

Figur som illustrerar batchbearbetning. All indata levereras till en batchbearbetningsmotor. All utdata levereras samtidigt efter att hela indatan har bearbetats.

Fullt automatiserad MLOps

Prediktion­stjänst – strömbaserad serving

$$

  • Kontinuerligt inkommande data

$$

  • Kontinuerligt levererade prediktioner

$$

$$

Figur som illustrerar strömbearbetning. Element levereras kontinuerligt till en strömbearbetningsmotor. Efter bearbetning levereras utdata löpande till en utdataström.

Fullt automatiserad MLOps

Prediktion­stjänst – realtid

$$

  • Enstaka post

$$

  • Omedelbara prediktioner

$$

$$

realtime_interaction.png

Fullt automatiserad MLOps

Prediktion­stjänst – edge

$$

  • Mobila enheter

$$

  • IoT-enheter

$$

  • Minskad latens

$$

Bild av en IoT-applikation som körs på en mobil platta.

Fullt automatiserad MLOps

Driftsättningsstrategier

$$

ML-servingtyp avgör hur vi ska driftsätta och uppdatera våra prediktion­stjänster

Strateg­ier för modelldriftsättning:

  • Shadow-driftsättning
  • Canary-driftsättning
  • A/B-testning
  • Blue/Green
Fullt automatiserad MLOps

A/B-testning

Figur som illustrerar A/B-testning i en driftsatt prediktion­stjänst. Prediktionsbegäranden skickas till en lastbalanserare. Lastbalanseraren fördelar begäranden till modell A och modell B. Modellernas prestanda övervakas kontinuerligt.

Fullt automatiserad MLOps

A/B-testning

Figur av en A/B-testningsdriftsättning. När modellens prestanda har övervakats tillräckligt länge har modell B visat bättre prestanda. Systemet skickar all trafik till den bäst presterande modellen.

Fullt automatiserad MLOps

Shadow-driftsättning

Figur av en shadow-driftsättning. Prediktionsbegäranden skickas till en lastbalanserare. Lastbalanseraren levererar begäranden till både den aktiva och shadow-modellen. Endast den aktiva modellen returnerar prediktioner. Båda modellernas prestanda övervakas kontinuerligt.

Fullt automatiserad MLOps

Blue/Green-driftsättning

Figur av en blue/green-driftsättning. En modell är aktiv i produktion i den blå miljön.

Fullt automatiserad MLOps

Blue/Green-driftsättning

En uppdaterad modell driftsätts i en kopia av den blå miljön. Denna kopia är den gröna miljön. Prediktionsbegäranden börjar automatiskt omdirigeras från den blå till den gröna miljön via en trafikomkopplingsmodul.

Fullt automatiserad MLOps

Blue/Green-driftsättning

Figur av en blue/green-driftsättning. All trafik växlas gradvis och automatiskt från den blå till den gröna miljön.

Fullt automatiserad MLOps

Blue/Green-driftsättning

När all trafik har växlats kan den blå miljön tas bort. Den gröna miljön med den uppdaterade modellen blir den nya produktionsmiljön.

Fullt automatiserad MLOps

Driftsätta och uppdatera prediktion­stjänster

$$

Modelltypen avgör driftsättningsstrategi

Tabell med driftsättningsstrategier och deras egenskaper i 4 dimensioner: Ingen driftstopp, Villkorsbaserad, Återställningstid och Tilläggskostnader.

Fullt automatiserad MLOps

Nu kör vi en övning!

Fullt automatiserad MLOps

Preparing Video For Download...