Automatizace v strategiích nasazení MLOps

Plně automatizované MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Nasazení modelu – predikční služba

Obrázek referenční architektury MLOps se zvýrazněným prvkem: predikční služba.

Plně automatizované MLOps

Predikční služby – přehled režimů

Predikce lze poskytovat jako:

  • Dávkové zpracování
  • Streamy
  • V reálném čase
  • Na hraně sítě
Plně automatizované MLOps

Predikční služba – dávkový serving

$$

  • Velké množství predikcí

$$

  • Periodické plánování

$$

  • Spuštění událostí

$$

$$

$$

Schéma dávkového zpracování. Veškerý vstup je doručen do dávkového procesoru. Veškerý výstup je doručen najednou po zpracování celého vstupu.

Plně automatizované MLOps

Predikční služba – streamový serving

$$

  • Průběžně příchozí data

$$

  • Průběžně doručované predikce

$$

$$

Schéma streamového zpracování. Prvky jsou průběžně doručovány do procesoru pro streamové zpracování. Po zpracování jsou výstupy průběžně doručovány do výstupního streamu.

Plně automatizované MLOps

Predikční služba – v reálném čase

$$

  • Jeden záznam

$$

  • Okamžité predikce

$$

$$

realtime_interaction.png

Plně automatizované MLOps

Predikční služba – na hraně sítě

$$

  • Mobilní zařízení

$$

  • Zařízení IoT

$$

  • Nižší latence

$$

Obrázek aplikace IoT spuštěné na tabletovém zařízení.

Plně automatizované MLOps

Strategie nasazení

$$

Typ ML servingu určuje, jak nasadit a aktualizovat predikční služby

Strategie nasazení modelů zahrnují:

  • Stínové nasazení
  • Kanárské nasazení
  • A/B testování
  • Blue/Green
Plně automatizované MLOps

A/B testování

Schéma A/B testování v nasazené predikční službě. Požadavky jsou odesílány na nástroj pro vyrovnávání zátěže, který je rozděluje mezi modely A a B. Výkon obou modelů je průběžně sledován.

Plně automatizované MLOps

A/B testování

Schéma A/B testování. Po dostatečném sledování výkonu model B prokázal lepší výsledky. Systém přesměruje veškeré požadavky na tento nejlepší model.

Plně automatizované MLOps

Stínové nasazení

Schéma stínového nasazení. Požadavky jsou odesílány na nástroj pro vyrovnávání zátěže, který je doručuje jak živému, tak stínovému modelu. Predikce vrací pouze živý model. Výkon obou modelů je průběžně sledován.

Plně automatizované MLOps

Nasazení Blue/Green

Schéma nasazení blue/green. Model je v produkci aktivní v modrém prostředí.

Plně automatizované MLOps

Nasazení Blue/Green

Aktualizovaný model je nasazen do repliky modrého prostředí – zeleného prostředí. Modul pro přepínání provozu začne automaticky přesměrovávat požadavky z modrého do zeleného prostředí.

Plně automatizované MLOps

Nasazení Blue/Green

Schéma nasazení blue/green. Veškerý provoz je postupně a automaticky přepínán z modrého do zeleného prostředí.

Plně automatizované MLOps

Nasazení Blue/Green

Po přepnutí veškerého provozu lze modré prostředí smazat. Zelené prostředí s aktualizovaným modelem se stává novým produkčním prostředím.

Plně automatizované MLOps

Nasazení a aktualizace predikčních služeb

$$

Typ modelu určuje strategii nasazení

Tabulka strategií nasazení a jejich vlastností ve 4 dimenzích: Bez výpadku, Podmínkové nasazení, Čas vrácení změn a Dodatečné náklady.

Plně automatizované MLOps

Pojďme procvičovat!

Plně automatizované MLOps

Preparing Video For Download...