MLOps op Kubernetes

Introductie tot Kubernetes

Frank Heilmann

Platform Architect and Freelance Instructor

Wat is MLOps?

Een aanpak om machinelearningmodellen in productie te deployen en te beheren
Een set best practices met focus op continue ontwikkeling van zulke modellen
Geïnspireerd door DevOps:
- Modellen worden ontwikkeld en getest in geïsoleerde experimentele systemen en daarna naar productie gedeployed
- In productie: continue monitoring; retraining kan worden gestart
Datascientists, data-engineers en IT-teams werken synchroon aan gedeployde modellen en borgen de nauwkeurigheid

Het MLOps-paradigma past goed bij Kubernetes:
- Geïsoleerde experimentele systemen: realiseerbaar via Pods en Kubernetes Storage
- Monitoring van ML-modellen in productie: mogelijk via de levenscyclus van Pods (en gedeployde image-versies)
- Synchroon werken aan modelnauwkeurigheid: vanaf het begin ingebouwd in de Kubernetes-architectuur
Er bestaan meerdere MLOps-frameworks; de twee bekendste open-sourceoplossingen zijn
- mlflow
- Kubeflow

Overzicht van Kubeflow

Met Kubeflow kun je ML-workflows eenvoudig op Kubernetes deployen
Dekt elke stap van de levenscyclus van een ML-model
Bestaat uit meerdere componenten die deze stappen afdekken en onafhankelijk werken
Je kunt Python gebruiken om ML-modellen te ontwikkelen en te deployen via een API
- kubectl is niet nodig

Introductie tot Kubernetes