Depozitul de metadate

MLOps complet automatizat

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Ce sunt metadatele în MLOps?

  • Metadatele reprezintă informații despre artefacte
    • create în timpul execuției componentelor unui pipeline ML

Un pipeline de machine learning cu etapele: extragere date, validare date, antrenare model, evaluare model și validare model.

Exemple de metadate:

  • Versionarea datelor: păstrarea diferitelor versiuni ale acelorași date
  • Metadate despre artefactele de antrenare, precum hiperparametrii
  • Jurnale de execuție a pipeline-ului
1 https://datacentricai.org/
MLOps complet automatizat

Aspecte importante ale metadatelor în ML

$$

  • Trasabilitatea datelor

  • Reproductibilitate

  • Monitorizare

  • Reglementare

MLOps complet automatizat

Importanța metadatelor - Trasabilitatea datelor

  • Metadatele de trasabilitate urmăresc informațiile despre date:

    • de la punctul de creare
    • până la punctele de consum

Ilustrație a conceptului de trasabilitate a datelor. Prezintă cum datele pot fi transformate de mai multe procese între origine și consum.

MLOps complet automatizat

Importanța metadatelor - Reproductibilitate

  • Metadatele despre experimentele de ML:
    • Permit altora să reproducă rezultatele
    • Cresc încrederea în sistemele ML
    • Introduc rigoare științifică în procesul ML

Ilustrație a conceptului de reproductibilitate. Prezintă o serie de oameni de știință care se observă reciproc lucrând printr-un telescop, dorind să reproducă rezultatele celuilalt.

MLOps complet automatizat

Importanța metadatelor - Monitorizare

  • Le permite inginerilor ML să:
    • Urmărească execuția diferitelor etape ale pipeline-ului MLOps
    • Verifice starea sistemului ML în orice moment
MLOps complet automatizat

Exemplu de instrument de monitorizare

Exemplu de tablou de bord pentru monitorizare, afișând diverse metrici ale unui sistem MLOps activ.

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
MLOps complet automatizat

Depozitul de metadate

  • Loc centralizat pentru gestionarea metadatelor MLOps:

    • experimente (jurnale)
    • artefacte
    • modele
    • pipeline-uri

  • Oferă o interfață care permite:

    • citirea și scrierea metadatelor legate de modele

Ilustrație a depozitului de metadate. Prezintă un depozit centralizat accesat de mai mulți actori și procese.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
MLOps complet automatizat

Depozitul de metadate într-o arhitectură MLOps

Arhitectura MLOps complet automatizată. Evidențiază rolul central al depozitului de metadate în procesul MLOps.

MLOps complet automatizat

Depozitul de metadate în MLOps complet automatizat

Permite monitorizarea automată a funcționării pipeline-ului MLOps complet automatizat

  • Facilitând răspunsul automat la incidente. De exemplu,

    • Reantrenarea automată a modelului
    • Reveniri automate la versiuni anterioare

Grafic reprezentând reantrenarea modelului declanșată de drift în sistemul ML. Axa x este timpul, axa y este performanța. Trei curbe prezintă câte un declin reprezentând drift. Punctul de drift este marcat ca „drift detectat", moment din care începe o nouă curbă de performanță.

MLOps complet automatizat

Să exersăm!

MLOps complet automatizat

Preparing Video For Download...