Testning

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

LLM-livscykeln: Testning

Översikt över faserna i LLM-applikationens livscykel

LLMOps-koncept

Varför behöver vi testa?

 

En lekfull bild av två seriefigurer som håller upp en tumme upp- och en tumme ned-skylt

 

 

  • LLM:er gör misstag
  • Testning är avgörande för att bedöma om applikationen är redo för driftsättning
  • Vi fokuserar på att utvärdera utdata
LLMOps-koncept

Traditionell maskininlärning jämfört med LLM-apptestning

Traditionell övervakad maskininlärning:

  • Kräver märkt tränings- och testdata
  • Mätvärden fokuserade på noggrannhet eller avstånd till målet

Bild av tränings- och testmängd för traditionell maskininlärning

LLM-applikationer:

  • Kräver testdata, inte nödvändigtvis märkt
  • Utdatakvalitet mäts med olika     mätvärden

Bild av tränings- och testmängd för LLM-applikationer

LLMOps-koncept

Steg 1: Bygg en testmängd

 

Lekfull bild av seriefigurer som samlar in data

 

 

  • Testmängden bör nu vara färdigbyggd
  • Testdata måste likna verkliga scenarier
  • Olika verktyg kan hjälpa oss i processen
LLMOps-koncept

Steg 2: Välj mätvärde

Om det finns ett korrekt svar...

  • ... använd maskininlärningsmätvärden. Exempel:
    • Noggrannhet

Flödesschema som pekar på "Använd ML-mätvärden"

LLMOps-koncept

Steg 2: Välj mätvärde

Om det finns ett referenssvar...

  • ... använd statistiska metoder.
  • ... använd modellbaserade metoder. Exempel:
    • LLM-domare

Flödesschema som pekar på "Använd textjämförelsemätvärden"

LLMOps-koncept

Steg 2: Välj mätvärde

Om vi har tillgång till mänsklig feedback...

  • ... låt människor bedöma texten. Exempel:
    • Bedöm kvalitet
    • Bedöm relevans
    • Bedöm koherens
  • ... använd modellbaserad metod. Exempel:
    • Förutsäg betyg utifrån tidigare feedback
    • Fråga LLM-domare om feedback beaktats

Flödesschema som pekar på "Använd feedbackpoängmätvärden"

LLMOps-koncept

Steg 2: Välj mätvärde

Om det saknas mänsklig feedback...

  • ... använd oövervakade mätvärden. Exempel:
    • Koherens
    • Flyt
    • Mångfald

Flödesschema som pekar på "Använd oövervakade mätvärden"

LLMOps-koncept

Steg 3: Definiera valfria sekundära mätvärden

 

 

Utdataegenskaper:

  • 🎭 Bias
  • ☠ Toxicitet
  • 🤝 Hjälpsamhet

 

 

Driftegenskaper:

  • ⏱ Latens
  • 💰 Total kostnad
  • 💻 Minnesanvändning
LLMOps-koncept

Utvecklingscykeln

Utvecklingscykeln där finjustering lagts till som aktivitet

LLMOps-koncept

Utvecklingscykeln

Utvecklingscykeln där testning lagts till som aktivitet

LLMOps-koncept

Utvecklingscykeln

Utvecklingscykeln där testning lagts till som aktivitet

LLMOps-koncept

Utvecklingscykeln

Utvecklingscykeln där driftsättning lagts till som aktivitet

LLMOps-koncept

Nu kör vi en övning!

LLMOps-koncept

Preparing Video For Download...