Urmărirea automată a experimentelor

MLOps complet automatizat

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Învățarea automată are o natură experimentală

Mulți "parametri" de experimentat:

  • Transformări ale datelor
    • Caracteristici utilizate
  • Algoritmi de antrenare
    • Ajustarea hiperparametrilor
  • Metrici de evaluare
    • Precizie, recall etc.
MLOps complet automatizat

Un spațiu vast de posibilități!

$$

Fotografie cu mai multe antene îndreptate spre un cer plin de stele, menită să ilustreze un spațiu vast, dificil de explorat în întregime.

MLOps complet automatizat

Probleme ale fluxurilor ML manuale

Lipsa automatizării = probleme în fluxurile ML manuale

  • Dificil de urmărit experimentele și rezultatele
  • Risipă de timp și resurse
  • Greu de reprodus/partajat rezultatele

Imagine cu un om de știință date foarte frustrat în fața unui laptop.

MLOps complet automatizat

Înregistrarea automată în ML

Elemente importante de înregistrat:

  • Cod
  • Mediu
  • Date
  • Parametri
  • Metrici
MLOps complet automatizat

Importanța înregistrării jurnalelor

Înregistrarea jurnalelor este esențială pentru:

  • Reproductibilitatea experimentelor în sistemele ML.
  • Monitorizarea performanței și luarea deciziilor informate.
  • Identificarea problemelor și oportunităților de îmbunătățire.

$$

Reproductibilitatea asigură transparența și este crucială pentru a face sistemele noastre demne de încredere.

MLOps complet automatizat

Sistem automat de urmărire a experimentelor

$$

Organizați jurnalele pe rulare sau experiment pentru:

  • Vizualizarea metadatelor antrenării
  • Compararea rulărilor de antrenare
  • Reproducerea rulărilor de antrenare

$$

O diagramă de arhitectură IT. Sistemul de urmărire a experimentelor are două componente: o interfață de tip tablou de bord și o interfață de acces programatic. Tabloul de bord este accesibil utilizatorilor. Accesul programatic este utilizat de alte componente ale arhitecturii. Sistemul înregistrează și citește jurnale din componenta de stocare.

MLOps complet automatizat

Urmărirea automată a experimentelor - Piața actuală

Instrumente care automatizează urmărirea experimentelor:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Logo TensorFlow.

$$

Logo MLflow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

MLOps complet automatizat

Să exersăm!

MLOps complet automatizat

Preparing Video For Download...