Il metadata store

MLOps completamente automatizzato

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Cos’è il metadata in MLOps?

I metadata sono le informazioni sugli artifact
- creati durante l’esecuzione dei vari componenti di una pipeline ML

È mostrata una pipeline di machine learning: estrazione dati, validazione dati, training modello, valutazione modello, validazione modello.

Esempi di metadata:

Versioning dei dati: si mantengono versioni diverse degli stessi dati
Metadata su artifact di training come gli iperparametri
Log di esecuzione della pipeline

¹ https://datacentricai.org/

Aspetti importanti dei metadata in ML

Data lineage
Reproducibilità
Monitoring
Conformità normativa

L’importanza dei metadata - Data lineage

I metadata di data lineage tracciano le info sui dati:
- dal punto di creazione
- ai punti di consumo

Illustrazione del concetto di data lineage: i dati vengono trasformati da vari processi tra origine e consumo.

L’importanza dei metadata - Reproducibilità

I metadata sui nostri esperimenti di ML:
- Permettono ad altri di riprodurre i risultati
- Aumentano la fiducia nei sistemi ML
- Introducono rigore scientifico nel processo ML

Figura che illustra la riproducibilità: una serie di scienziati si osservano al telescopio per riprodurre il lavoro altrui.

L’importanza dei metadata - Monitoring

Permette agli ML engineer di:
- Seguire l’esecuzione delle varie parti della pipeline MLOps
- Controllare lo stato del sistema ML in qualsiasi momento

Esempio di strumento di monitoring

Esempio di dashboard di monitoring con metriche di un sistema MLOps in esecuzione.

¹ https://cloud.google.com/stackdriver/docs/solutions/gke/observing

Il metadata store

Spazio centralizzato per gestire tutti i metadata MLOps su:
- esperimenti (log)
- artifact
- modelli
- pipeline
Ha una UI che permette di:
- leggere e scrivere tutti i metadata dei modelli

Illustrazione del metadata store: un archivio centrale a cui più attori e processi accedono ai metadata.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Il metadata store in un’architettura MLOps

Figura dell’architettura MLOps completamente automatizzata, che evidenzia il ruolo centrale del metadata store.

Metadata store in MLOps completamente automatizzati

Abilita il monitoring automatico del funzionamento della pipeline MLOps completamente automatizzata

Facilitando la risposta automatica agli incident. Per esempio:
- Retraining automatico del modello
- Rollback automatici

Grafico del retraining del modello attivato da drift nel sistema ML: sull’asse x il tempo, sull’asse y la performance, con punti di drift che avviano nuove curve di performance.

Ayo berlatih!

MLOps completamente automatizzato