MLOps na Kubernetes

Úvod do Kubernetes

Frank Heilmann

Platform Architect and Freelance Instructor

Co je MLOps?

Paradigma pro nasazení a správu modelů strojového učení v produkci
Soubor osvědčených postupů zaměřených na průběžný vývoj těchto modelů
Inspirováno DevOps:
- Modely ML jsou vyvíjeny a testovány v izolovaných experimentálních systémech, poté nasazeny do produkce
- V produkci probíhá průběžné monitorování; může být spuštěno přetrénování
Datoví vědci, datoví inženýři a IT týmy mohou synchronně pracovat na nasazených modelech a zajišťovat jejich přesnost

Paradigma MLOps se dobře mapuje na Kubernetes:
- Izolované experimentální systémy: realizovatelné přes Pody a úložiště Kubernetes
- Monitorování produkčních ML modelů: zajištěno životním cyklem Podů (a verzemi nasazených obrazů)
- Synchronní práce na přesnosti modelů: součástí architektury Kubernetes od samého počátku
Existuje několik frameworků pro MLOps; dvě nejznámější open-source řešení jsou
- mlflow
- Kubeflow

Přehled Kubeflow

Kubeflow umožňuje snadné nasazení ML workflow přímo na Kubernetes
Pokrývá každý krok životního cyklu ML modelu
Skládá se z několika nezávislých komponent pokrývajících tyto kroky
Python lze využít k vývoji a nasazení ML modelů prostřednictvím API
- není třeba používat kubectl

Úvod do Kubernetes