Referentiearchitectuur: Volledig geautomatiseerde MLOps

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Wat is een referentiearchitectuur?

$$

Een referentiearchitectuur is een sjabloon om oplossingen te ontwerpen in verschillende IT-domeinen.

Een set documenten met:

  • Structuren en integraties van IT-elementen

  • Patronen die vaak voorkomen in IT-systemen, inclusief ML-systemen

  • Benut ervaring en best practices van marktspelers

Volledig geautomatiseerde MLOps

Volledig geautomatiseerde MLOps-architectuur

Een afbeelding met een overzicht op hoog niveau van de volledig geautomatiseerde MLOps-referentiearchitectuur.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Volledig geautomatiseerde MLOps

Referentiearchitectuur - Georchestreerde experimenten

Een afbeelding met een overzicht op hoog niveau van de volledig geautomatiseerde MLOps-referentiearchitectuur. De afbeelding zoomt in op een set verbonden blokken. Van links naar rechts: data-analyse, georchestreerd experiment, broncode, broncoderepository.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - Broncode & CI

De afbeelding schuift naar links. Na de broncoderepository verschijnt een continuous integration-blok met een build-box die pakketten oplevert.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - Artefacten & CD

De afbeelding schuift omlaag en toont een continuous delivery-blok.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - ML-pijplijnimplementatie

De afbeelding schuift naar links en toont een geautomatiseerde ML-pijplijn met stappen: data-extractie, datavalidatie, datapreparatie, modeltraining, modelevaluatie, modelvalidatie.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - De metadata store

De afbeelding schuift omlaag en toont de Metadata Store die logs verzamelt die door de ML-pijplijn zijn gegenereerd.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - De modelregistry

De afbeelding schuift omhoog en naar rechts en toont dat door de ML-pijplijn getrainde modellen naar een model registry worden gepusht.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - Predictieservices

De afbeelding schuift omlaag en toont dat door de ML-pijplijn getrainde modellen continu worden geleverd aan een predictieservice-module in de architectuur.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - Continue monitoring

De afbeelding schuift naar links en toont een performancemonitoringcomponent die de prestaties van de door de predictieservice geleverde voorspellingen volgt.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - Automatische trigger

De afbeelding schuift verder naar links en toont een triggercomponent die is verbonden met de performancemonitoringmodule

Volledig geautomatiseerde MLOps

Referentiearchitectuur - Automatisch hertrainen

De afbeelding schuift omhoog en toont dat de trigger de geautomatiseerde ML-pijplijn in het systeem kan activeren.

Volledig geautomatiseerde MLOps

Referentiearchitectuur

De afbeelding zoomt uit en toont het overzicht van de volledige referentiearchitectuur.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - De feature store

Een afbeelding met een overzicht op hoog niveau van de volledig geautomatiseerde MLOps-referentiearchitectuur. De afbeelding zoomt in op de feature store-component.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - De feature store

De afbeelding schuift omlaag en toont dat de feature store ook data levert aan de geautomatiseerde ML-pijplijn in de staging-, preproductie- en productieomgeving.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - De feature store

De afbeelding zoomt in op de feature store-component. Deze levert data aan de georchestreerde-experimentenmodule in de experiment- en ontwikkelomgeving.

Volledig geautomatiseerde MLOps

Referentiearchitectuur - De feature store

De afbeelding zoomt in op de feature store-component. Deze levert data aan de predictieservice in het systeem.

Volledig geautomatiseerde MLOps

Volledig geautomatiseerde MLOps-architectuur

Een afbeelding met een overzicht op hoog niveau van de volledig geautomatiseerde MLOps-referentiearchitectuur.

Volledig geautomatiseerde MLOps

Laten we oefenen!

Volledig geautomatiseerde MLOps

Preparing Video For Download...