Monitorowanie i obserwowalność

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cykl życia LLM: monitorowanie i obserwowalność

Przegląd faz cyklu życia aplikacji LLM

Koncepcje LLMOps

Monitorowanie i obserwowalność

 

Zabawna ilustracja kreskówkowej postaci obserwującej obiekty

 

  • Monitorowanie stale obserwuje system.
  • Obserwowalność ujawnia stany wewnętrzne zewnętrznym obserwatorom.
  • Źródła danych dla obserwowalności:
    1. Logi
    2. Metryki
    3. Ślady
Koncepcje LLMOps

Monitorowanie wejścia

  • Monitorowanie danych wejściowych pod kątem:
    • Zmian
    • Błędów
    • Złośliwej zawartości
  • Dryf danych to zmiana rozkładu danych wejściowych w czasie
  • Przeciwdziałanie dryfowi danych wymaga:
    • Monitorowania rozkładu danych
    • Okresowej aktualizacji modelu

Monitorowanie wejścia

Koncepcje LLMOps

Monitorowanie funkcjonalne

  • Przykłady:

    • Czas odpowiedzi
    • Liczba żądań
    • Przestoje
    • Wskaźniki błędów

  • Dla aplikacji LLM:

    • Wykonanie łańcuchów i agentów
    • Zasoby systemowe (GPU)
    • Koszty

Monitorowanie funkcjonalne

Koncepcje LLMOps

Monitorowanie wyjścia

  • Metryki zdefiniowane podczas testowania, np.:
    • Stronniczość
    • Toksyczność
    • Przydatność
  • Dryf modelu:
    • Zmiana relacji między wejściem a wyjściem
  • Cenzurowanie to aktywna interwencja

Monitorowanie wyjścia

Koncepcje LLMOps

Obsługa alertów

 

 

Zabawna ilustracja kreskówkowej postaci naprawiającej alerty

 

 

  • Otrzymywanie powiadomień o problemach
  • Jasne procedury postępowania
  • Umowy o poziomie usług (SLA) mogą obowiązywać
Koncepcje LLMOps

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...