Testowanie

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cykl życia LLM: testowanie

Przegląd faz cyklu życia aplikacji LLM

Dlaczego testowanie jest potrzebne?

LLM popełniają błędy
Testowanie jest kluczowe dla oceny gotowości aplikacji do wdrożenia
Skupimy się na ewaluacji wyników

Tradycyjne ML a testowanie aplikacji LLM

Tradycyjne nadzorowane uczenie maszynowe:

Wymagane oznakowane dane treningowe i testowe
Metryki skupione na dokładności lub zbieżności z wartością docelową

Ilustracja zbioru treningowego i testowego dla tradycyjnego ML

Aplikacje LLM:

Wymagane dane testowe, niekoniecznie oznakowane
Jakość wyników oceniana za pomocą różnorodnych metryk

Ilustracja zbioru treningowego i testowego dla aplikacji LLM

Krok 1: Budowanie zbioru testowego

Budowanie zbioru testowego powinno być już ukończone
Dane testowe muszą ściśle odzwierciedlać rzeczywiste scenariusze
Różne narzędzia mogą wspomóc ten proces

Krok 2: Wybór metryki

Jeśli istnieje poprawna odpowiedź...

... należy użyć metryk ML. Przykład:
- Dokładność

Schemat blokowy wskazujący na "Użyj metryk ML"

Krok 2: Wybór metryki

Jeśli istnieje odpowiedź referencyjna...

... należy użyć metod statystycznych.
... należy użyć metod opartych na modelach. Przykład:
- Sędziowie LLM

Schemat blokowy wskazujący na "Użyj metryk porównania tekstu"

Krok 2: Wybór metryki

Jeśli mamy dostęp do opinii użytkowników...

... należy poprosić ludzi o ocenę tekstu. Przykłady:
- Ocena jakości
- Ocena trafności
- Ocena spójności
... należy użyć podejścia opartego na modelu. Przykład:
- Przewidywanie oceny na podstawie wcześniejszych opinii
- Pytanie sędziego LLM, czy opinia została uwzględniona

Schemat blokowy wskazujący na "Użyj metryk oceny opinii"

Krok 2: Wybór metryki

Jeśli nie ma opinii użytkowników...

... należy użyć metryk nienadzorowanych. Przykłady:
- Spójność
- Płynność
- Różnorodność

Schemat blokowy wskazujący na "Użyj metryk nienadzorowanych"

Krok 3: Definiowanie opcjonalnych metryk pomocniczych

Charakterystyka wyników:

🎭 Stronniczość
☠ Toksyczność
🤝 Pomocność

Charakterystyka operacyjna:

⏱ Opóźnienie
💰 Łączny koszt
💻 Użycie pamięci

Cykl programowania

Cykl programowania z dodanym etapem dostrajania

Cykl programowania

Cykl programowania z dodanym etapem testowania

Cykl programowania

Cykl programowania z dodanym etapem testowania

Cykl programowania

Cykl programowania z dodanym etapem wdrożenia

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...