Моніторинг і спостережуваність

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Життєвий цикл LLM: моніторинг і спостережуваність

Огляд фаз життєвого циклу застосунку LLM

Концепції LLMOps

Моніторинг і спостережуваність

 

Грайлива ілюстрація персонажа, що спостерігає за предметами

 

  • Моніторинг безперервно відстежує систему.
  • Спостережуваність відкриває внутрішні стани зовнішнім спостерігачам.
  • Джерела даних для спостережуваності:
    1. Логи
    2. Метрики
    3. Трейси
Концепції LLMOps

Моніторинг вхідних даних

  • Моніторте входи щодо:
    • Змін
    • Помилок
    • Зловмисного вмісту
  • Дрейф даних — це зміна розподілу вхідних даних з часом
  • Щоб впоратися з дрейфом даних, потрібно:
    • Відстежувати розподіл даних
    • Періодично оновлювати модель

Моніторинг вхідних даних

Концепції LLMOps

Функціональний моніторинг

  • Приклади:

    • Час відповіді
    • Обсяг запитів
    • Простої
    • Рівні помилок

  • Для застосунків LLM:

    • Виконання ланцюжків і агентів
    • Ресурси системи (GPU)
    • Витрати

Функціональний моніторинг

Концепції LLMOps

Моніторинг вихідних даних

  • Використовуйте метрики, визначені під час тестування, зокрема:
    • Упередженість
    • Токсичність
    • Корисність
  • Дрейф моделі:
    • Змінюється зв'язок між входом і виходом
  • Цензурування — це активне втручання

Моніторинг вихідних даних

Концепції LLMOps

Обробка сповіщень

 

 

Грайлива ілюстрація персонажа, що налаштовує сповіщення

 

 

  • Отримуйте сповіщення, коли виникають проблеми
  • Майте чіткі процедури
  • Можуть діяти угоди про рівень сервісу (SLA)
Концепції LLMOps

Давайте потренуємось!

Концепції LLMOps

Preparing Video For Download...