Testare

Concepte LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclul de viață LLM: Testare

Prezentare generală a fazelor ciclului de viață al aplicației LLM

De ce avem nevoie de testare?

LLM-urile fac greșeli
Testarea este esențială pentru a evalua pregătirea aplicației pentru deployment
Ne vom concentra pe evaluarea rezultatelor

ML tradițional versus testarea aplicațiilor LLM

Machine learning supervizat tradițional:

Necesită date de antrenare și testare etichetate
Metrici axate pe acuratețe sau apropierea de țintă

Imagine cu setul de antrenare și testare pentru ML tradițional

Aplicații LLM:

Necesită date de testare, nu neapărat etichetate
Calitatea rezultatelor folosind o varietate de metrici

Imagine cu setul de antrenare și testare pentru aplicații LLM

Pasul 1: Construirea unui set de testare

Construirea setului de testare ar trebui finalizată acum
Datele de testare trebuie să reflecte îndeaproape scenarii reale
Diverse instrumente ne pot ajuta în acest proces

Pasul 2: Alegerea metricii

Dacă există un răspuns corect...

... utilizați metrici de machine learning. Exemplu:
- Acuratețe

Diagramă de flux care indică „Utilizați metrici ML"

Pasul 2: Alegerea metricii

Dacă există un răspuns de referință...

... utilizați metode statistice.
... utilizați metode bazate pe modele. Exemplu:
- Judecători LLM

Diagramă de flux care indică „Utilizați metrici de comparare text"

Pasul 2: Alegerea metricii

Dacă avem acces la feedback uman...

... lăsați oamenii să evalueze textul. Exemple:
- Evaluați calitatea
- Evaluați relevanța
- Evaluați coerența
... utilizați o abordare bazată pe modele. Exemplu:
- Preziceți evaluarea pe baza feedback-ului anterior
- Întrebați judecătorul LLM dacă feedback-ul a fost încorporat

Diagramă de flux care indică „Utilizați metrici bazate pe scor de feedback"

Pasul 2: Alegerea metricii

Dacă nu există feedback uman...

... utilizați metrici nesupervizate. Exemple:
- Coerență
- Fluență
- Diversitate

Diagramă de flux care indică „Utilizați metrici nesupervizate"

Pasul 3: Definirea metricilor secundare opționale

Caracteristici ale rezultatelor:

🎭 Bias
☠ Toxicitate
🤝 Utilitate

Caracteristici operaționale:

⏱ Latență
💰 Cost total
💻 Utilizarea memoriei

Ciclul de dezvoltare

Ciclul de dezvoltare cu activitatea de fine-tuning adăugată

Ciclul de dezvoltare

Ciclul de dezvoltare cu activitatea de testare adăugată

Ciclul de dezvoltare

Ciclul de dezvoltare cu activitatea de testare adăugată

Ciclul de dezvoltare

Ciclul de dezvoltare cu activitatea de deployment adăugată

Să exersăm!

Concepte LLMOps

Preparing Video For Download...