Automatisering in MLOps-implementatiestrategieën

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Modelimplementatie - voorspellingsservice

MLOps-referentiearchitectuur met het onderdeel ‘voorspellingsservice’ gemarkeerd.

Volledig geautomatiseerde MLOps

Voorspellingsservices - overzicht modi

Voorspellingen kunnen worden geleverd als:

  • Batch
  • Streams
  • Realtime
  • Aan de edge
Volledig geautomatiseerde MLOps

Voorspellingsservice - batch

$$

  • Veel voorspellingen

$$

  • Periodieke schema’s

$$

  • Event-gestuurd

$$

$$

$$

Figuur van batchverwerking. Alle input gaat naar een batchengine. Alle output komt tegelijk na verwerking van de hele batch.

Volledig geautomatiseerde MLOps

Voorspellingsservice - streaming

$$

  • Continu binnenkomende data

$$

  • Continu geleverde voorspellingen

$$

$$

Figuur van streamverwerking. Elementen gaan continu naar een streamengine. Na verwerking worden outputs continu naar een outputstream gestuurd.

Volledig geautomatiseerde MLOps

Voorspellingsservice - realtime

$$

  • Enkel record

$$

  • Directe voorspellingen

$$

$$

Realtime-interactie

Volledig geautomatiseerde MLOps

Voorspellingsservice - aan de edge

$$

  • Mobiele apparaten

$$

  • IoT-apparaten

$$

  • Lagere latentie

$$

Afbeelding van een IoT-app op een tablet.

Volledig geautomatiseerde MLOps

Implementatiestrategieën

$$

ML-servingtypes bepalen hoe we voorspellingsservices implementeren en updaten

Implementatiestrategieën omvatten:

  • Shadow deployment
  • Canary deployment
  • A/B-testen
  • Blue/Green
Volledig geautomatiseerde MLOps

A/B-testen

Figuur van A/B-testen in een uitgerolde voorspellingsservice. Verzoeken gaan naar een load balancer, die ze verdeelt naar model A en B. De prestaties worden continu gemonitord.

Volledig geautomatiseerde MLOps

A/B-testen

Figuur van een A/B-implementatie. Na voldoende monitoring presteert model B beter. Alle verzoeken worden naar dit best presterende model gestuurd.

Volledig geautomatiseerde MLOps

Shadow deployment

Figuur van een shadow deployment. Verzoeken gaan naar een load balancer, die ze naar zowel het live- als het shadowmodel stuurt. Alleen het livemodel geeft voorspellingen terug. Beide prestaties worden continu gemonitord.

Volledig geautomatiseerde MLOps

Blue/Green-implementatie

Figuur van een blue/green-implementatie. Een model draait live in productie in de blauwe omgeving.

Volledig geautomatiseerde MLOps

Blue/Green-implementatie

Een geüpdatet model wordt uitgerold naar een kopie van de blauwe omgeving: de groene omgeving. Verzoeken worden automatisch omgeleid van blauw naar groen via een traffic switch.

Volledig geautomatiseerde MLOps

Blue/Green-implementatie

Figuur van een blue/green-implementatie. Al het verkeer wordt geleidelijk en automatisch omgeschakeld van blauw naar groen.

Volledig geautomatiseerde MLOps

Blue/Green-implementatie

Na de omschakeling kan de blauwe omgeving worden verwijderd. De groene omgeving met het bijgewerkte model wordt de nieuwe productieomgeving.

Volledig geautomatiseerde MLOps

Voorspellingsservices implementeren en updaten

$$

Modeltype bepaalt implementatiestrategie

Tabel met implementatiestrategieën en hun eigenschappen in 4 dimensies: Geen downtime, Voorwaarde-gestuurd, Rollbacktijd en extra kosten.

Volledig geautomatiseerde MLOps

Laten we oefenen!

Volledig geautomatiseerde MLOps

Preparing Video For Download...