Modellunderhåll

MLOps-driftsättning och livscykelhantering

Nemanja Radojkovic

Senior Machine Learning Engineer

Tidigare...

  • Hur fångar man upp avvikelser och störningar?

 

Detta avsnitt fokuserar på: ML-modellers fel

MLOps-driftsättning och livscykelhantering

modellen försämrades

MLOps-driftsättning och livscykelhantering

förbättra modellen

MLOps-driftsättning och livscykelhantering

förbättra datamängden

MLOps-driftsättning och livscykelhantering

modellcentrerad

MLOps-driftsättning och livscykelhantering

datacentrerad

1 https://datacentricai.org/
MLOps-driftsättning och livscykelhantering

Kvalitet före kvantitet

  • Hämta fler särdrag med relevant information
  • Få bättre etiketter

 

Etikett == värdet på målvariabeln i träningsuppsättningen

Etikettskvalitet == hur nära etiketten ligger sanningen

MLOps-driftsättning och livscykelhantering

dåliga etiketter

MLOps-driftsättning och livscykelhantering

dålig prediktion

MLOps-driftsättning och livscykelhantering

Fördelar med märkningsverktyg

Manuell märkning är komplex, tidskrävande och felbenägen

Använd bra märkningsverktyg!

  • Effektivare märkning
  • Högre noggrannhet
  • Ändamålsenligt användargränssnitt
  • "Märk dessa exempel först för störst effekt"
  • "Det verkar som att du gjort ett misstag här"

märkningsverktyg

Exempel: Bildmärkningsverktyg för att bygga bildklassificerare

MLOps-driftsättning och livscykelhantering

människa i loopen

MLOps-driftsättning och livscykelhantering

HIL 2

MLOps-driftsättning och livscykelhantering

expertbidrag

MLOps-driftsättning och livscykelhantering

MLOps-driftsättning och livscykelhantering

När etiketterna kommer in

  • Kör ML-byggpipeline => Ny modell
  • Kontrollera om den nya modellen är bättre än den gamla
    • JA => testa och driftsätt
    • NEJ => fortsätt söka,
MLOps-driftsättning och livscykelhantering

Fortsätt söka

  • Prova nya modeller
  • Prova nya särdrag
  • Prova nya datakällor

 

Mycket värdefullt: Metadatalager (MLFlow Tracking m.fl.)

  • Dokumentera modellurvalprocessen
  • Undvik att upprepa samma experiment

 

Hur som helst: MLOps hjälper oss underhålla modellen på snabbaste och effektivaste sätt

MLOps-driftsättning och livscykelhantering

Nu kör vi en övning!

MLOps-driftsättning och livscykelhantering

Preparing Video For Download...