Orchestrace v MLOps

Plně automatizované MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Klíčová komponenta systémů MLOps

Referenční architektura MLOps se dvěma zvýrazněnými prvky: orchestrované experimenty ve vývojovém prostředí a automatizovaná pipeline v produkci.

Plně automatizované MLOps

Modularita a znovupoužitelnost

Schéma se dvěma ML pipeline – horní ve vývojovém a experimentálním prostředí, dolní v produkci.

Plně automatizované MLOps

Orchestrace a automatizace

ML pipeline se používají při:

  • Vývoji a experimentování

Schéma komponenty: orchestrovaný experiment.

  • Produkci

Schéma automatizované ML pipeline.

Plně automatizované MLOps

Přímé acyklické grafy v MLOps

$$

  • Grafické znázornění pipeline
  • Kroky pipeline jako uzly
  • Závislosti kroků jako hrany

Schéma jednoduchého DAG s propojenými kroky ML pipeline.

Plně automatizované MLOps

Co je orchestrace v MLOps?

$$

  • Správa a automatizace toků úloh

$$

  • Plánování a monitorování úloh

$$

  • Správa datových závislostí a toků
Plně automatizované MLOps

ML pipeline – vývoj a experimentování

Schéma orchestrovaného ML pipeline ve vývojovém a experimentálním prostředí. Pipeline je spouštěna datovým vědcem a řízena komponentou orchestrátoru.

  • Správa end-to-end úloh při trénování modelů
  • Správný průběh, záznam a logování
  • Paralelní experimentování
Plně automatizované MLOps

ML pipeline – produkce

Schéma automatizovaného ML pipeline v produkčním prostředí. Pipeline je spouštěna automatickým spouštěčem a řízena komponentou orchestrátoru.

  • Pomáhá automatizovat nasazení modelu
  • Řídí a spouští kroky pipeline
  • Konzistentní a spolehlivá nasazení
Plně automatizované MLOps

Pojďme si procvičit!

Plně automatizované MLOps

Preparing Video For Download...