Úložiště metadat

Plně automatizované MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Co jsou metadata v MLOps?

  • Metadata jsou informace o artefaktech
    • vytvořených při provádění jednotlivých komponent ML pipeline

Schéma ML pipeline s kroky: extrakce dat, validace dat, trénování modelu, vyhodnocení modelu a validace modelu.

Příklady metadat:

  • Verzování dat: uchovávají se různé verze stejných dat
  • Metadata o tréninkových artefaktech, např. hyperparametrech
  • Logy provádění pipeline
1 https://datacentricai.org/
Plně automatizované MLOps

Důležité aspekty metadat v ML

$$

  • Datová linie

  • Reprodukovatelnost

  • Monitorování

  • Regulatorní požadavky

Plně automatizované MLOps

Význam metadat – datová linie

  • Metadata datové linie sledují informace o datech:

    • od jejich vzniku
    • až po body spotřeby

Ilustrace konceptu datové linie. Zobrazuje, jak mohou být data transformována různými procesy mezi svým původem a spotřebou.

Plně automatizované MLOps

Význam metadat – reprodukovatelnost

  • Metadata o experimentech strojového učení:
    • Umožňují ostatním reprodukovat výsledky
    • Zvyšují důvěru v systémy ML
    • Zavádějí vědeckou přesnost do procesu ML

Ilustrace konceptu reprodukovatelnosti. Zobrazuje vědce pozorující navzájem svou práci dalekohledem, aby mohli výsledky reprodukovat.

Plně automatizované MLOps

Význam metadat – monitorování

  • Umožňuje inženýrům strojového učení:
    • Sledovat průběh jednotlivých částí MLOps pipeline
    • Kdykoli kontrolovat stav systému ML
Plně automatizované MLOps

Příklad monitorovacího nástroje

Příklad monitorovacího dashboardu zobrazujícího různé metriky běžícího systému MLOps.

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
Plně automatizované MLOps

Úložiště metadat

  • Centralizované místo pro správu veškerých metadat MLOps:

    • experimenty (logy)
    • artefakty
    • modely
    • pipeline

  • Uživatelské rozhraní umožňuje:

    • číst a zapisovat veškerá metadata modelů

Ilustrace úložiště metadat. Zobrazuje centralizované úložiště, ke kterému přistupují různé procesy a aktéři.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Plně automatizované MLOps

Úložiště metadat v architektuře MLOps

Schéma plně automatizované architektury MLOps. Zobrazuje klíčovou roli úložiště metadat v procesu MLOps.

Plně automatizované MLOps

Úložiště metadat v plně automatizovaném MLOps

Umožňuje automatické monitorování plně automatizované MLOps pipeline

  • Usnadňuje automatickou reakci na incidenty, například:

    • Automatické přetrénování modelu
    • Automatické vrácení změn

Graf znázorňující přetrénování modelu vyvolané driftem. Osa x představuje čas, osa y výkon. Tři křivky s poklesem výkonu – bod driftu je označen. Od tohoto bodu začíná nová křivka výkonu.

Plně automatizované MLOps

Pojďme si procvičit!

Plně automatizované MLOps

Preparing Video For Download...