Maliyet yönetimi
LLMOps Kavramları
Max Knobbout, PhD
Applied Scientist, Uber
LLM yaşam döngüsü: Maliyet yönetimi
Maliyet yönetimi
- Odak, model maliyetlerinde
- Maliyet, barındırma ve/veya kullanıma göre artabilir
- Kendi barındırılan modellerde, maliyetler barındırmadan kaynaklanır
- Harici barındırılan modellerde, maliyetler kullanımdan gelir
LLM maliyetlerini parçalama
Kendi barındırma (açık kaynak)
- Bulut:
- Sunucunun çalışır kaldığı süre
- Şirket içi:
- Donanım maliyetleri
- Bakım ve elektrik
Harici barındırma (ticarî)
- Ticarî:
- Çağrı sayısı
- Çağrı başına belirteç sayısı
Strateji 1: Doğru modeli seçin
- Görevi hâlâ yerine getiren en uygun maliyetli modeli kullanın
- Daha küçük, göreve özgü birden çok model kullanın
- Kendi barındırmada, model küçültme tekniklerini değerlendirin
Strateji 2: İstemleri optimize edin
- Otomatik prompt sıkıştırma kullanın
- İçerik azaltma:
- "Sohbet belleği" yönetimini optimize edin
- Daha az sonuç döndürmek için RAG’i optimize edin
Strateji 3: Çağrı sayısını optimize edin
- Toplu işleme kullanın
- Yanıt önbellekleme kullanın (uygunsa)
- Aracı çağrılarını optimize edin (ve sınırlayın)
- Kota ve hız sınırları belirleyin
- LLM gerektirmeyen görevleri değerlendirin
Maliyet metrikleri ve öngörü
- İzlenmesi önemli:
- Kendi barındırmanız için, makine başına zaman birimi maliyeti
- Harici barındırma için, oturum başına maliyet
- Kullanıcı tabanının nasıl büyüyeceğini ve maliyetlerin buna paralel nasıl ölçekleneceğini anlayın
Hadi pratik yapalım!
LLMOps Kavramları
Preparing Video For Download...
