Тестирование

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Жизненный цикл LLM: тестирование

Обзор этапов жизненного цикла LLM-приложения

Зачем нужно тестирование?

LLM допускают ошибки
Тестирование необходимо для оценки готовности приложения к развёртыванию
Мы сосредоточимся на оценке вывода

Традиционное ML против тестирования LLM-приложений

Традиционное обучение с учителем:

Требуются размеченные обучающая и тестовая выборки
Метрики оценивают точность или близость к целевому значению

Обучающая и тестовая выборки в традиционном машинном обучении

LLM-приложения:

Требуется тестовая выборка, не обязательно размеченная
Качество вывода оценивается с помощью разнообразных метрик

Обучающая и тестовая выборки для LLM-приложений

Шаг 1: формирование тестовой выборки

Формирование тестовой выборки должно быть завершено
Тестовые данные должны как можно точнее отражать реальные сценарии
В этом процессе помогут различные инструменты

Шаг 2: выбор метрики

Если существует правильный ответ...

... используйте метрики машинного обучения. Пример:
- Точность

Блок-схема с указанием «Использовать метрики ML»

Шаг 2: выбор метрики

Если есть эталонный ответ...

... используйте статистические методы.
... используйте методы на основе модели. Пример:
- LLM-судьи

Блок-схема с указанием «Использовать метрики сравнения текстов»

Шаг 2: выбор метрики

Если есть доступ к обратной связи от людей...

... пусть люди оценят текст. Примеры:
- Оценка качества
- Оценка релевантности
- Оценка связности
... используйте подход на основе модели. Примеры:
- Предсказание оценки на основе прошлой обратной связи
- Запрос к LLM-судье о том, была ли обратная связь учтена

Блок-схема с указанием «Использовать метрики оценки обратной связи»

Шаг 2: выбор метрики

Если обратной связи от людей нет...

... используйте метрики без учителя. Примеры:
- Связность
- Беглость
- Разнообразие

Блок-схема с указанием «Использовать метрики без учителя»

Шаг 3: определение дополнительных вторичных метрик

Характеристики вывода:

🎭 Предвзятость
☠ Токсичность
🤝 Полезность

Операционные характеристики:

⏱ Задержка
💰 Общие затраты
💻 Использование памяти

Цикл разработки

Цикл разработки с добавленным этапом дообучения

Цикл разработки

Цикл разработки с добавленным этапом тестирования

Цикл разработки

Цикл разработки с добавленным этапом тестирования

Цикл разработки

Цикл разработки с добавленным этапом развёртывания

Давайте потренируемся!

Концепции LLMOps

Preparing Video For Download...