Automatische experimenttracking

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

ML is van nature experimenteel

Veel “knoppen” om mee te experimenteren:

Datatransformaties
- Gebruikte features
Trainingsalgoritmen
- Hyperparameter-tuning
Evaluatiemetrieken
- Precision, recall, enz.

Een grote ruimte aan mogelijkheden!

Foto van meerdere antennes die naar een sterrenhemel wijzen. Beeld om een grote, lastig te verkennen ruimte te illustreren.

Problemen met handmatige ML-workflows

Geen automatisering = problemen in handmatige ML-workflows

Moeilijk om experimenten en resultaten te volgen
Verspilt tijd en resources
Resultaten lastig te reproduceren/delen

Afbeelding van een gefrustreerde data scientist achter een laptop.

Automatisch loggen in ML

Belangrijke items om te loggen:

Code
Omgeving
Data
Parameters
Metrieken

Het belang van loggen

Loggen is essentieel voor:

Reproduceerbaarheid van experimenten in ML-systemen.
Performance volgen en onderbouwde beslissingen nemen.
Issues identificeren voor verbetering.

Reproduceerbaarheid geeft transparantie en maakt systemen betrouwbaar.

Systeem voor automatische experimenttracking

Orden logs per run of experiment om:

Metadata van modeltraining te zien
Trainingsruns te vergelijken
Trainingsruns te reproduceren

Een IT-architectuurdiagram. Het experimenttrackingsysteem heeft twee onderdelen: een dashboard-UI en een programmeerinterface. De dashboard-UI is voor gebruikers; de programmeerinterface is voor andere componenten. Het systeem schrijft en leest logs via de component die logs opslaat.

Automatische experimenttracking - huidige markt

Tools die experimenttracking automatiseren:

TensorBoard

MLFlow

Weights & Biases

Neptune

TensorFlow-logo.

$$ Weights & Biases-logo.

Neptune.AI-logo.

Laten we oefenen!

Volledig geautomatiseerde MLOps