MLOps på Kubernetes

Introduktion till Kubernetes

Frank Heilmann

Platform Architect and Freelance Instructor

Vad är MLOps?

Ett paradigm för att driftsätta och underhålla maskininlärningsmodeller i produktion
En uppsättning best-practice-arbetsflöden med fokus på kontinuerlig utveckling av sådana modeller
Inspirerat av DevOps:
- Maskininlärningsmodeller utvecklas och testas i isolerade experimentmiljöer och driftsätts sedan i produktion
- I produktion sker kontinuerlig övervakning; omträning kan utlösas vid behov
Datavetare, dataingenjörer och IT-team kan arbeta parallellt med driftsatta modeller och säkerställa modellens noggrannhet

MLOps-paradigmet passar väl ihop med Kubernetes:
- Isolerade experimentmiljöer: kan realiseras via Pods och Kubernetes-lagring
- Övervakning av ML-modeller i produktion: möjliggörs via Pods livscykel (och driftsatta bildversioner)
- Parallellt arbete med modellnoggrannhet: inbyggt från grunden i Kubernetes-arkitekturen
Det finns flera ramverk för MLOps; de två mest kända open source-lösningarna är
- mlflow
- Kubeflow

Kubeflow – översikt

Kubeflow möjliggör enkla driftsättningar av ML-arbetsflöden specifikt på Kubernetes
Täcker varje steg i ML-modellens livscykel
Består av flera komponenter som hanterar dessa steg oberoende av varandra
Python kan användas för att utveckla och driftsätta ML-modeller via ett API
- inget behov av att använda kubectl

Introduktion till Kubernetes