Automatiserad experimentspårning

Fullt automatiserad MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Maskininlärning är till sin natur experimentell

Många "spakar" att experimentera med:

  • Datatransformationer
    • Använda särdrag
  • Träningsalgoritmer
    • Hyperparameterjustering
  • Utvärderingsmått
    • Precision, recall, osv.
Fullt automatiserad MLOps

Ett stort rum av möjligheter!

$$

Foto av flera antenner riktade mot en stjärnfylld himmel. Bilden illustrerar ett stort rum som är svårt att utforska till fullo.

Fullt automatiserad MLOps

Problem med manuella maskininlärningsarbetsflöden

Brist på automatisering skapar problem i manuella ML-arbetsflöden

  • Svårt att spåra experiment och resultat
  • Slöseri med tid och resurser
  • Svårt att reproducera och dela resultat

Bild på en mycket frustrerad datavetare framför en laptop.

Fullt automatiserad MLOps

Automatiserad loggning inom ML

Viktigt att logga inkluderar:

  • Kod
  • Miljö
  • Data
  • Parametrar
  • Mått
Fullt automatiserad MLOps

Loggningens betydelse

Loggning är avgörande för:

  • Reproducerbarhet av experiment i ML-system.
  • Att följa systemprestanda och fatta välgrundade beslut.
  • Att identifiera förbättringsområden.

$$

Reproducerbarhet skapar transparens och är avgörande för att göra våra system tillförlitliga.

Fullt automatiserad MLOps

Automatiserat experimentspårningssystem

$$

Organisera loggar per körning eller experiment för att:

  • Se metadata för modellträning
  • Jämföra modellträningskörningar
  • Reproducera modellträningskörningar

$$

En IT-arkitekturfigur. Experimentspårningssystemet består av två komponenter: ett instrumentpanelsgränssnitt och ett programmatiskt åtkomstgränssnitt. Instrumentpanelsgränssnittet används av systemets användare. Den programmatiska åtkomsten används av andra arkitekturkomponenter. Experimentspårningssystemet loggar och läser från den komponent som ansvarar för att lagra loggar.

Fullt automatiserad MLOps

Automatiserad experimentspårning – dagens marknad

Flera verktyg automatiserar experimentspårning:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Tensorflow-logotyp.

$$

MLflow-logotyp.

$$ Weights & Biases-logotyp.

Neptune.AI-logotyp.

Fullt automatiserad MLOps

Nu kör vi en övning!

Fullt automatiserad MLOps

Preparing Video For Download...