Volledige automatisering en best practices voor MLOps

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

De MLOps-levenscyclus

Afbeelding van de MLOps-levenscyclus. Drie met elkaar verbonden cirkels: Design, Development, Deployment.

Volwassenheidsniveaus in MLOps

De volwassenheidsniveaus zijn:

Handmatige ML-workflow
Half-geautomatiseerde ML-workflow
Volledig geautomatiseerde ML-workflow

Handmatige ML-workflow - Ad-hoc-experimenten

Een afbeelding die laat zien hoe modellen handmatig van development naar productie gaan via een handmatig proces.

Half-geautomatiseerde ML-workflow

Afbeelding van data die een georkestreerde experimenteerpijplijn binnenkomt.

Half-geautomatiseerde ML-workflow

De vorige afbeelding is uitgebreid met code die naar een bronrepo wordt gepusht en een feature store die data aanlevert.

Half-geautomatiseerde ML-workflow

De vorige afbeelding is uitgebreid met een deploymentcomponent. Deze zet geautomatiseerde ML-pijplijnen uit in de architectuur. Daarnaast ontvangt een ML-metadatastore metadata van de geautomatiseerde pijplijn.

Half-geautomatiseerde ML-workflow

De vorige architectuur is uitgebreid. Modellen uit de geautomatiseerde pijplijn gaan nu naar een modelregister, dat modellen levert aan een model serving-module. Deze is verbonden met een prediction service in de architectuur.

Half-geautomatiseerde ML-workflow

De prediction service in de architectuur is verbonden met een performancemonitor, die weer gekoppeld is aan een automatische trigger. Die kan de geautomatiseerde pijplijn starten.

Volledig geautomatiseerde ML-workflow

Een overzicht op hoog niveau van de volledig geautomatiseerde MLOps-referentiearchitectuur.

Automatisering in de ML-levenscyclus - Ontwerp

Een tabel die laat zien dat activiteiten in de ontwerpfase niet te automatiseren zijn.

Best practices:

Hanteer reproduceerbare processen
Schrijf gedetailleerde documentatie

Automatisering in de ML-levenscyclus - Ontwikkeling

Een tabel die laat zien dat activiteiten in de ontwikkelfase niet allemaal te automatiseren zijn.

Best practices:

Onthoud: we bouwen software
Versiebeheer gebruiken
Gebruik orkestratietools

Automatisering in de ML-levenscyclus - Operations

Een tabel die laat zien dat activiteiten in de operationsfase grotendeels te automatiseren zijn.

Gebruik:

Geautomatiseerd testen
CI/CD/CT/CM

Laten we oefenen!

Volledig geautomatiseerde MLOps