De metadata store

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Wat is metadata in MLOps?

  • Metadata is info over de artifacts
    • gemaakt tijdens de uitvoering van onderdelen van een ML-pijplijn

Een machine learning-pijplijn met: data-extractie, datavalidatie, modeltraining, modelevaluatie en modelvalidatie.

Voorbeelden van metadata:

  • Dataversiebeheer: verschillende versies van dezelfde data worden bewaard
  • Metadata over training-artifacts zoals hyperparameters
  • Pijplijn-executielogs
1 https://datacentricai.org/
Volledig geautomatiseerde MLOps

Belangrijke aspecten van metadata in ML

$$

  • Data lineage

  • Reproduceerbaarheid

  • Monitoring

  • Compliance

Volledig geautomatiseerde MLOps

Het belang van metadata - Data lineage

  • Data lineage-metadata volgt info over data:

    • van ontstaan
    • tot consumptie

Een illustratie van data lineage. Het toont hoe data door meerdere processen wordt getransformeerd tussen oorsprong en gebruik.

Volledig geautomatiseerde MLOps

Het belang van metadata - Reproduceerbaarheid

  • Metadata over onze ML-experimenten:
    • Maakt resultaten reproduceerbaar
    • Vergroot vertrouwen in ML-systemen
    • Brengt wetenschappelijke rigor in ons ML-proces

Een illustratie van reproduceerbaarheid: een reeks wetenschappers die elkaars werk willen reproduceren.

Volledig geautomatiseerde MLOps

Het belang van metadata - Monitoring

  • Hiermee kunnen ML-engineers:
    • De uitvoering van onderdelen van de MLOps-pijplijn volgen
    • De status van het ML-systeem op elk moment checken
Volledig geautomatiseerde MLOps

Voorbeeld van een monitoringtool

Een voorbeeld van een monitoringdashboard met verschillende metrics voor een draaiend MLOps-systeem.

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
Volledig geautomatiseerde MLOps

De metadata store

  • Gecentraliseerde plek om alle MLOps-metadata te beheren over:

    • experimenten (logs)
    • artifacts
    • modellen
    • pijplijnen

  • Met een UI waarmee je kunt:

    • alle modelgerelateerde metadata lezen en schrijven

Een illustratie van de metadata store. Het toont een centrale store waar meerdere actoren en processen metadata benaderen.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
Volledig geautomatiseerde MLOps

De metadata store in een MLOps-architectuur

Een schema van de volledig geautomatiseerde MLOps-architectuur. Het toont de centrale rol van de metadata store in het MLOps-proces.

Volledig geautomatiseerde MLOps

Metadata store in volledig geautomatiseerde MLOps

Het maakt automatische monitoring van de volledig geautomatiseerde MLOps-pijplijn mogelijk

  • En faciliteert automatische incidentrespons. Bijvoorbeeld:

    • Automatische modelhertraining
    • Automatische rollbacks

Een grafiek van modelhertraining getriggerd door drift in het ML-systeem. De x-as is tijd, de y-as prestatie. Driftpunten worden gedetecteerd; daarna start een nieuwe prestatiecurve voor een nieuw model.

Volledig geautomatiseerde MLOps

Laten we oefenen!

Volledig geautomatiseerde MLOps

Preparing Video For Download...