Мониторинг и наблюдаемость

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Жизненный цикл LLM: мониторинг и наблюдаемость

Обзор фаз жизненного цикла LLM-приложения

Концепции LLMOps

Мониторинг и наблюдаемость

 

Игровое изображение мультяшного персонажа, наблюдающего за предметами

 

  • Мониторинг — непрерывное наблюдение за системой.
  • Наблюдаемость — раскрытие внутренних состояний системы для внешних наблюдателей.
  • Источники данных для наблюдаемости:
    1. Логи
    2. Метрики
    3. Трассировки
Концепции LLMOps

Мониторинг входных данных

  • Мониторинг входных данных:
    • Изменения
    • Ошибки
    • Вредоносный контент
  • Дрейф данных — изменение распределения входных данных со временем
  • Для устранения дрейфа данных:
    • Отслеживайте распределение данных
    • Периодически обновляйте модель

Мониторинг входных данных

Концепции LLMOps

Функциональный мониторинг

  • Примеры:

    • Время отклика
    • Объём запросов
    • Простой
    • Частота ошибок

  • Для LLM-приложений:

    • Выполнение цепочек и агентов
    • Системные ресурсы (GPU)
    • Затраты

Функциональный мониторинг

Концепции LLMOps

Мониторинг выходных данных

  • Используйте метрики, определённые при тестировании:
    • Предвзятость
    • Токсичность
    • Полезность
  • Дрейф модели:
    • Изменение связи между входными и выходными данными
  • Цензурирование — активное вмешательство в вывод модели

Мониторинг выходных данных

Концепции LLMOps

Обработка оповещений

 

 

Игровое изображение мультяшного персонажа, устраняющего оповещения

 

 

  • Получайте уведомления при возникновении проблем
  • Используйте чёткие процедуры реагирования
  • Могут применяться соглашения об уровне обслуживания (SLA)
Концепции LLMOps

Давайте потренируемся!

Концепции LLMOps

Preparing Video For Download...