Automatyzacja strategii wdrożeń w MLOps

W pełni zautomatyzowany MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Wdrożenie modelu – serwis predykcji

Architektura referencyjna MLOps z wyróżnionym elementem: serwisem predykcji.

W pełni zautomatyzowany MLOps

Serwisy predykcji – przegląd trybów

Predykcje mogą być serwowane w trybie:

  • Wsadowym
  • Strumieniowym
  • Czasu rzeczywistego
  • Brzegu sieci
W pełni zautomatyzowany MLOps

Serwis predykcji – serwowanie wsadowe

$$

  • Duża liczba predykcji

$$

  • Harmonogramy okresowe

$$

  • Wyzwalane zdarzeniami

$$

$$

$$

Schemat przetwarzania wsadowego. Wszystkie dane wejściowe trafiają do silnika przetwarzania wsadowego. Wszystkie wyniki są dostarczane jednocześnie po przetworzeniu całego wejścia.

W pełni zautomatyzowany MLOps

Serwis predykcji – serwowanie strumieniowe

$$

  • Dane napływają ciągle

$$

  • Predykcje dostarczane ciągle

$$

$$

Schemat przetwarzania strumieniowego. Elementy są ciągle dostarczane do silnika strumieniowego. Po przetworzeniu wyniki są ciągle przekazywane na wyjście.

W pełni zautomatyzowany MLOps

Serwis predykcji – czas rzeczywisty

$$

  • Pojedynczy rekord

$$

  • Natychmiastowe predykcje

$$

$$

realtime_interaction.png

W pełni zautomatyzowany MLOps

Serwis predykcji – brzeg sieci

$$

  • Urządzenia mobilne

$$

  • Urządzenia IoT

$$

  • Zmniejszone opóźnienia

$$

Obraz aplikacji IoT działającej na urządzeniu mobilnym typu tablet.

W pełni zautomatyzowany MLOps

Strategie wdrożeń

$$

Typ serwowania ML określa sposób wdrażania i aktualizacji serwisów predykcji

Strategie wdrożeń modeli:

  • Wdrożenie shadow
  • Wdrożenie canary
  • Testy A/B
  • Blue/Green
W pełni zautomatyzowany MLOps

Testy A/B

Schemat testów A/B w serwisie predykcji. Żądania predykcji trafiają do load balancera, który rozdziela je między modele A i B. Wydajność obu modeli jest stale monitorowana.

W pełni zautomatyzowany MLOps

Testy A/B

Schemat wdrożenia A/B. Po wystarczającym monitorowaniu model B wykazuje lepszą wydajność. System przekierowuje wszystkie żądania do najlepszego modelu.

W pełni zautomatyzowany MLOps

Wdrożenie shadow

Schemat wdrożenia shadow. Żądania predykcji trafiają do load balancera, który kieruje je do modelu produkcyjnego i shadow. Tylko model produkcyjny zwraca predykcje. Wydajność obu modeli jest stale monitorowana.

W pełni zautomatyzowany MLOps

Wdrożenie blue/green

Schemat wdrożenia blue/green. Model działa produkcyjnie w środowisku blue.

W pełni zautomatyzowany MLOps

Wdrożenie blue/green

Zaktualizowany model jest wdrażany do repliki środowiska blue – środowiska green. Moduł przełączania ruchu zaczyna automatycznie przekierowywać żądania ze środowiska blue do green.

W pełni zautomatyzowany MLOps

Wdrożenie blue/green

Schemat wdrożenia blue/green. Cały ruch jest stopniowo i automatycznie przełączany ze środowiska blue do green.

W pełni zautomatyzowany MLOps

Wdrożenie blue/green

Po przełączeniu całego ruchu środowisko blue może zostać usunięte. Środowisko green ze zaktualizowanym modelem staje się nowym środowiskiem produkcyjnym.

W pełni zautomatyzowany MLOps

Wdrażanie i aktualizacja serwisów predykcji

$$

Typ modelu determinuje strategię wdrożenia

Tabela ze strategiami wdrożeń i ich właściwościami w 4 wymiarach: brak przestojów, warunkowość, czas przywracania i dodatkowe koszty.

W pełni zautomatyzowany MLOps

Czas na ćwiczenia!

W pełni zautomatyzowany MLOps

Preparing Video For Download...