Manajemen biaya

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: Manajemen biaya

Ikhtisar tahapan siklus hidup aplikasi LLM

Konsep LLMOps

Manajemen biaya

Gambar lucu kartun dengan amplop biaya

 

  • Fokus pada biaya model
  • Biaya dapat meningkat tergantung hosting dan/atau penggunaan
    • Untuk model self-hosted, biaya berasal dari hosting
    • Untuk model host eksternal, biaya berasal dari penggunaan
Konsep LLMOps

Rincian biaya LLM

Self-hosted (sumber terbuka)

  • Cloud:
    • Lama server berjalan
  • On-premise:
    • Biaya perangkat keras
    • Perawatan dan listrik

Host eksternal (proprietary)

  • Proprietary:
    • Jumlah panggilan
    • Jumlah token per panggilan
Konsep LLMOps

Strategi 1: Pilih model yang tepat

 

Gambar lucu kartun memilih sebuah bintang

 

 

  • Gunakan model paling hemat biaya yang tetap menyelesaikan tugas
  • Gunakan beberapa model khusus tugas yang lebih kecil
  • Untuk self-hosting, pertimbangkan teknik pengurangan ukuran model
Konsep LLMOps

Strategi 2: Optimalkan prompt

 

Gambar lucu kartun menggambar sebuah ide

 

 

  • Gunakan kompresi prompt otomatis
  • Reduksi konten:
    • Optimalkan pengelolaan "memori chat"
    • Optimalkan RAG untuk mengembalikan lebih sedikit hasil
Konsep LLMOps

Strategi 3: Optimalkan jumlah panggilan

 

 

Gambar lucu kartun menghitung amplop di tanah

 

  • Gunakan batching
  • Gunakan caching respons (jika berlaku)
  • Optimalkan (dan batasi) panggilan agen
  • Tetapkan kuota dan rate limit
  • Pertimbangkan tugas yang tidak memerlukan LLM
Konsep LLMOps

Metrik biaya dan proyeksi

 

  • Penting untuk dilacak:
    • Untuk self-hosted, biaya per mesin per satuan waktu
    • Untuk host eksternal, biaya per sesi
  • Pahami bagaimana basis pengguna akan tumbuh, dan bagaimana biaya akan skala seiring pertumbuhan

Gambar lucu kartun menunjuk ke bagan batang

Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...