Тестування

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Життєвий цикл LLM: тестування

Огляд фаз життєвого циклу застосунку LLM

Навіщо тестувати?

LLM можуть помилятися
Тестування важливе, щоб оцінити готовність до розгортання
Розглянемо оцінювання виходу

Традиційне ML vs тестування застосунків LLM

Традиційне контрольоване машинне навчання:

Потрібні розмічені тренувальні й тестові дані
Метрики точності або наближеності до цілі

Зображення тренувальної та тестової вибірок для традиційного ML

Застосунки LLM:

Потрібні тестові дані, не обов'язково розмічені
Якість виходу за різними метриками

Зображення тренувальної та тестової вибірок для застосунків LLM

Крок 1: Створення тестового набору

Формування тестового набору має бути завершено
Тестові дані мають бути максимально наближені до реальних сценаріїв
У цьому допоможуть різні інструменти

Крок 2: Обираємо метрику

Якщо є правильна відповідь...

... використовуйте метрики ML. Наприклад:
- Accuracy

Блок-схема зі стрілкою до "Use ML metrics"

Крок 2: Обираємо метрику

Якщо є референтна відповідь...

... використовуйте статистичні методи.
... використовуйте підходи на основі моделей. Наприклад:
- LLM judges

Блок-схема зі стрілкою до "Use text comparison metrics"

Крок 2: Обираємо метрику

Якщо маємо людський зворотний зв'язок...

... нехай люди оцінюють текст. Наприклади:
- Оцінка якості
- Оцінка доречності
- Оцінка зв'язності
... використовуйте підхід на основі моделей. Наприклад:
- Прогнозувати оцінку на основі минулих відгуків
- Запитати LLM-«суддю», чи враховано відгук

Блок-схема зі стрілкою до "Use feedback score metrics"

Крок 2: Обираємо метрику

Якщо немає людського зворотного зв'язку...

... використовуйте неконтрольовані метрики. Приклади:
- Зв'язність
- Плавність
- Різноманітність

Блок-схема зі стрілкою до "Use unsupervised metrics"

Крок 3: Визначте додаткові вторинні метрики

Характеристики виходу:

🎭 Упередженість
☠ Токсичність
🤝 Корисність

Експлуатаційні характеристики:

⏱ Затримка
💰 Загальна вартість
💻 Використання пам'яті

Цикл розробки

Цикл розробки з доданою активністю тонкого налаштування

Цикл розробки

Цикл розробки з доданою активністю тестування

Цикл розробки

Цикл розробки з доданою активністю тестування

Цикл розробки

Цикл розробки з доданою активністю розгортання

Давайте потренуємось!

Концепції LLMOps

Preparing Video For Download...