Dağıtım

LLMOps Kavramları

Max Knobbout, PhD

Applied Scientist, Uber

LLM yaşam döngüsü: Dağıtım

LLM uygulama yaşam döngüsü aşamalarının genel görünümü

LLMOps Kavramları

Dağıtıma geçiş

 

 

Kutu sürükleyen çizgi karakterlerin eğlenceli görseli

 

 

  • Tek bir doğru yok!
  • Bir uygulama zincir/ajan mantığı, vektör veritabanı, LLM ve daha fazlasını içerebilir
  • Her bileşen dağıtılmalı ve birlikte çalışmalı
LLMOps Kavramları

Adım 1: Barındırma seçimi

  • Özel/genel bulut veya kurum içi barındırma
  • Birçok bulut sağlayıcısı LLM barındırma ve dağıtım çözümleri sunar

Barındırma

LLMOps Kavramları

Adım 2: API tasarımı

  • API'ler farklı yazılımların iletişimini sağlar
  • Tasarım, ölçeklenebilirlik, maliyet ve altyapıyı etkiler
  • Güvenlik kritiktir; API anahtarlarıyla yönetilir

API tasarımı

LLMOps Kavramları

Adım 3: Nasıl çalıştırılır

  • Seçenekler:

    1. Konteynerlar
    2. Sunucusuz fonksiyonlar
    3. Bulut yönetilen hizmetleri

  • Artılar/eksiler: maliyet, ölçeklenebilirlik, verimlilik, esneklik

Docker logosu

Çalıştırma mimarisi

LLMOps Kavramları

CI/CD

Sürekli Entegrasyon (CI):

  1. Kaynak: Kaynak kodu al
  2. Derle: Kodu içeren bir konteyner imajı oluştur
  3. Test: Entegrasyon testleri yap
  4. Kaydet: Konteyneri bir kayıt defterine ekle

Sürekli Dağıtım (CD):

  1. Al: Konteyneri kayıt defterinden çek
  2. Test: Dağıtım testleri yap
  3. Dağıt: Konteyneri ortamlara dağıt:
    • Staging
    • Production
LLMOps Kavramları

Ölçekleme

 

Büyük bir robot inşa eden çizgi karakterlerin eğlenceli görseli

 

  • LLM'ler özel GPU donanımı gerektirebilir.

  • Ölçekleme stratejileri:

    1. Yatay: Daha fazla makine ekle
    2. Dikey: Tek makineyi güçlendir

  • Trafik için yatay, güvenilirlik ve hız için dikey

LLMOps Kavramları

Hadi pratik yapalım!

LLMOps Kavramları

Preparing Video For Download...