Testování

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Životní cyklus LLM: Testování

Přehled fází životního cyklu LLM aplikace

Proč potřebujeme testovat?

LLM dělají chyby
Testování je klíčové pro posouzení připravenosti aplikace k nasazení
Zaměříme se na vyhodnocení výstupu

Tradiční ML versus testování LLM aplikací

Tradiční strojové učení s učitelem:

Potřeba označených trénovacích a testovacích dat
Metriky zaměřené na přesnost nebo blízkost k cíli

Obrázek trénovací a testovací sady pro tradiční ML

LLM aplikace:

Potřeba testovacích dat, ne nutně označených
Kvalita výstupu pomocí různých metrik

Obrázek trénovací a testovací sady pro LLM aplikace

Krok 1: Sestavení testovací sady

Sestavení testovací sady by mělo být nyní dokončeno
Testovací data se musí blížit reálným scénářům
V tomto procesu nám pomáhají různé nástroje

Krok 2: Volba metriky

Pokud existuje správná odpověď...

... použijte metriky strojového učení. Příklad:
- Přesnost

Vývojový diagram odkazující na „Použít ML metriky“

Krok 2: Volba metriky

Pokud existuje referenční odpověď...

... použijte statistické metody.
... použijte metody založené na modelu. Příklad:
- LLM hodnotitelé

Vývojový diagram odkazující na „Použít metriky porovnání textu“

Krok 2: Volba metriky

Pokud máme přístup k lidské zpětné vazbě...

... nechte lidi text ohodnotit. Příklady:
- Hodnocení kvality
- Hodnocení relevance
- Hodnocení koherence
... použijte přístup založený na modelu. Příklad:
- Predikce hodnocení z minulé zpětné vazby
- Zeptat se LLM hodnotitele, zda byla zpětná vazba zapracována

Vývojový diagram odkazující na „Použít metriky skóre zpětné vazby“

Krok 2: Volba metriky

Pokud není k dispozici lidská zpětná vazba...

... použijte metriky bez učitele. Příklady:
- Koherence
- Plynulost
- Rozmanitost

Vývojový diagram odkazující na „Použít metriky bez učitele“

Krok 3: Volitelné sekundární metriky

Vlastnosti výstupu:

🎭 Zaujatost
☠ Toxicita
🤝 Užitečnost

Provozní vlastnosti:

⏱ Latence
💰 Celkové vzniklé náklady
💻 Využití paměti

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou doladění

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou testování

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou testování

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou nasazení

Pojďme si to vyzkoušet!

Koncepty LLMOps

Preparing Video For Download...