İzleme ve gözlemlenebilirlik

LLMOps Kavramları

Max Knobbout, PhD

Applied Scientist, Uber

LLM yaşam döngüsü: İzleme ve gözlemlenebilirlik

LLM uygulama yaşam döngüsü aşamalarının genel görünümü

LLMOps Kavramları

İzleme ve gözlemlenebilirlik

 

Bazı nesneleri gözlemleyen çizgi film karakterinin eğlenceli görseli

 

  • İzleme, sistemi sürekli takip eder.
  • Gözlemlenebilirlik, iç durumları dışarıdan görünür kılar.
  • Gözlemlenebilirlik veri kaynakları:
    1. Günlükler (loglar)
    2. Metrikler
    3. İzler (traces)
LLMOps Kavramları

Girdi izleme

  • Girdileri şunlar için izleyin:
    • Değişiklikler
    • Hatalar
    • Kötücül içerik
  • Veri kayması: zamanla girdi dağılımının değişmesi
  • Veri kaymasını ele almak için:
    • Veri dağılımını izleyin
    • Modeli periyodik güncelleyin

Girdi izleme

LLMOps Kavramları

İşlevsel izleme

  • Örnekler:

    • Yanıt süresi
    • İstek hacmi
    • Kesinti süresi
    • Hata oranları

  • LLM uygulamaları için:

    • Zincir ve ajan yürütme
    • Sistem kaynakları (GPU)
    • Maliyetler

İşlevsel izleme

LLMOps Kavramları

Çıktı izleme

  • Testte tanımlanan metrikleri kullanın, örn.:
    • Önyargı
    • Toksisite
    • Yararlılık
  • Model kayması:
    • Girdi-çıktı ilişkisinin değişmesi
  • Sansürleme, aktif müdahaledir

Çıktı izleme

LLMOps Kavramları

Uyarı yönetimi

 

 

Uyarıları düzelten çizgi film karakterinin eğlenceli görseli

 

 

  • Sorunlarda bildirim alın
  • Net prosedürler olsun
  • Hizmet Düzeyi Sözleşmeleri (SLA) bulunabilir
LLMOps Kavramları

Hadi pratik yapalım!

LLMOps Kavramları

Preparing Video For Download...