Metadatalagret

Fullt automatiserad MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Vad är metadata i MLOps?

Metadata är information om artefakter
- som skapas när olika komponenter i en ML-pipeline körs

En maskininlärningspipeline presenteras med följande steg: datautvinning, datavalidering, modellträning, modellutvärdering och modellvalidering.

Exempel på metadata:

Dataversionshantering: Olika versioner av samma data sparas
Metadata om träningsartefakter, t.ex. hyperparametrar
Körningsloggar för pipelinen

¹ https://datacentricai.org/

Viktiga aspekter av metadata i ML

Datahärledning
Reproducerbarhet
Monitorering
Regulatoriska krav

Metadatans betydelse – datahärledning

Metadataom datahärledning spårar information om data:
- från dess ursprung
- till konsumtionspunkterna

En illustration av konceptet datahärledning. Den visar hur data kan transformeras av flera processer mellan sitt ursprung och sin konsumtion.

Metadatans betydelse – reproducerbarhet

Metadata om våra maskininlärningsexperiment:
- Gör det möjligt för andra att reproducera våra resultat
- Ökar förtroendet för våra ML-system
- Tillför vetenskaplig stringens till vår ML-process

En figur som illustrerar konceptet reproducerbarhet. Den visar en rad forskare som tittar på varandras arbete genom ett teleskop för att kunna reproducera det.

Metadatans betydelse – monitorering

Det gör det möjligt för maskininlärningsingenjörer att
- Följa körningen av de olika delarna i MLOps-pipelinen
- Kontrollera ML-systemets status när som helst

Exempel på monitoreringverktyg

Ett exempel på en monitoreringsdashboard som visar olika mätvärden kopplade till ett aktivt MLOps-system.

¹ https://cloud.google.com/stackdriver/docs/solutions/gke/observing

Metadatalagret

Centraliserad plats för att hantera all MLOps-metadata om:
- experiment (loggar)
- artefakter
- modeller
- pipelines
Det har ett användargränssnitt som gör det möjligt att:
- läsa och skriva all modellrelaterad metadata

En illustration av metadatalagret. Den visar ett centraliserat lager där flera aktörer och processer kommer åt metadata.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Metadatalagret i en MLOps-arkitektur

En figur av den helautomatiserade MLOps-arkitekturen. Den visar metadatalagrets centrala roll i MLOps-processen.

Metadatalagret i helautomatiserad MLOps

Det möjliggör automatisk monitorering av den helautomatiserade MLOps-pipelinens funktion

Underlättar automatisk incidenthantering. Till exempel:
- Automatisk omträning av modeller
- Automatiska återställningar

Ett diagram som visar modellomträning utlöst av drift i ML-systemet. X-axeln visar tid och y-axeln visar prestanda. Tre kurvor presenteras, var och en med en förfall som representerar drift. Driftpunkten är inringad och märkt som "drift detected". Från denna punkt startar en ny prestandakurva för en ny modell.

Nu kör vi en övning!

Fullt automatiserad MLOps