Tracciamento automatico degli esperimenti

MLOps completamente automatizzato

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Il machine learning è per natura sperimentale

Molte “leve” su cui fare esperimenti:

  • Trasformazioni dei dati
    • Feature usate
  • Algoritmi di training
    • Tuning degli iperparametri
  • Metriche di valutazione
    • Precision, recall, ecc.
MLOps completamente automatizzato

Un ampio spazio di possibilità!

$$

Foto di diverse antenne puntate verso un cielo stellato: illustra un grande spazio difficile da esplorare.

MLOps completamente automatizzato

Problemi dei workflow ML manuali

Mancanza di automazione = problemi nei workflow ML manuali

  • Difficile tracciare esperimenti e risultati
  • Spreco di tempo e risorse
  • Difficile riprodurre/condividere i risultati

Immagine di una data scientist molto frustrata davanti a un laptop.

MLOps completamente automatizzato

Logging automatico nel ML

Cosa loggare:

  • Codice
  • Ambiente
  • Dati
  • Parametri
  • Metriche
MLOps completamente automatizzato

L’importanza del logging

Il logging è essenziale per:

  • La riproducibilità degli esperimenti nei sistemi ML.
  • Tracciare le prestazioni e decidere con dati.
  • Individuare problemi da migliorare.

$$

La riproducibilità dà trasparenza ed è cruciale per rendere i sistemi affidabili.

MLOps completamente automatizzato

Sistema di tracciamento automatico degli esperimenti

$$

Organizza i log per run o esperimento per:

  • Vedere i metadati dell’addestramento
  • Confrontare le esecuzioni di training
  • Riprodurre le esecuzioni di training

$$

Figura di architettura IT. Il sistema di tracciamento degli esperimenti ha due componenti: una dashboard (UI) e un’interfaccia di accesso programmatico. Gli utenti accedono alla dashboard. L’accesso programmatico è usato da altri componenti. Il sistema registra e legge da un altro componente incaricato di archiviare i log.

MLOps completamente automatizzato

Tracciamento automatico: strumenti attuali

Strumenti che automatizzano il tracciamento:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Logo TensorFlow.

$$

Logo MLflow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

MLOps completamente automatizzato

Passiamo alla pratica !

MLOps completamente automatizzato

Preparing Video For Download...