Orchestratie in MLOps

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Een kernonderdeel van MLOps-systemen

Afbeelding van de MLOps-referentiearchitectuur met twee gemarkeerde elementen: georkestreerde experimenten in de ontwikkelomgeving en de geautomatiseerde pijplijn in productie.

Modulariteit & hergebruik

Figuur met twee ml-pijplijnen, een boven en een onder. De bovenste pijplijn is in de ontwikkel- en experimenteeromgeving en de onderste in productie.

Orchestratie & automatisering

ML-pijplijnen worden gebruikt in:

Ontwikkeling & experimentatie

Figuur van een component: georkestreerd experiment.

Productie

Figuur van een geautomatiseerde ML-pijplijn.

Gerichte acyclische grafen in MLOps

Grafische pijplijnweergaven
Pijplijnstappen als nodes
Afhankelijkheden zijn edges

Afbeelding van een eenvoudige DAG met verbonden stappen in een ML-pijplijn.

Wat is orchestratie in MLOps?

Beheer & automatisering van taakflows

Planning en monitoring van taken

Beheer van data-afhankelijkheden en -stromen

ML-pijplijnen - ontwikkeling & experimentatie

Figuur van een georkestreerde ML-pijplijn in de ontwikkel- en experimenteeromgeving. De pijplijn wordt getriggerd door een data scientist en georkestreerd door een orkestratorcomponent.

Beheer end-to-end taken in modeltraining
Juiste flow, tracking en logging
Parallel experimenteren

ML-pijplijnen - productie

Figuur van een geautomatiseerde ML-pijplijn in de productieomgeving. De pijplijn wordt geactiveerd door een automatische trigger en georkestreerd door een orkestratorcomponent.

Helpt bij het automatiseren van modeldeployment
Beheert en voert pijplijnstappen uit
Consistente en betrouwbare deployments

Laten we oefenen!

Volledig geautomatiseerde MLOps