Deployment

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: Deployment

Gambaran fase siklus hidup aplikasi LLM

Konsep LLMOps

Menuju deployment

 

 

Gambar lucu karakter kartun menyeret kotak

 

 

  • Tidak ada satu solusi untuk semua!
  • Aplikasi bisa mencakup logika chain/agen, basis data vektor, LLM, dll.
  • Tiap komponen harus dideploy dan saling terintegrasi
Konsep LLMOps

Langkah 1: Pilihan hosting

  • Cloud privat/publik atau hosting on-premise
  • Banyak penyedia cloud menawarkan solusi untuk hosting dan deployment LLM

Hosting

Konsep LLMOps

Langkah 2: Desain API

  • API memungkinkan software saling berkomunikasi
  • Desain memengaruhi skalabilitas, biaya, dan kebutuhan infrastruktur
  • Keamanan penting, dikendalikan dengan API key!

Desain API

Konsep LLMOps

Langkah 3: Cara menjalankan

  • Opsi:

    1. Container
    2. Fungsi serverless
    3. Layanan terkelola cloud

  • Kelebihan/kekurangan: biaya, skalabilitas, efisiensi, fleksibilitas

Logo Docker

Arsitektur eksekusi

Konsep LLMOps

CI/CD

Continuous Integration (CI):

  1. Source: Ambil kode sumber
  2. Build: Buat image container berisi kode
  3. Test: Jalankan uji integrasi
  4. Register: Simpan container di registry

Continuous Deployment (CD):

  1. Retrieve: Ambil container dari registry
  2. Test: Jalankan uji deployment
  3. Deploy: Terapkan container ke lingkungan:
    • Staging
    • Production
Konsep LLMOps

Penskalaan

 

Gambar lucu karakter kartun membangun robot skala besar

 

  • LLM sering perlu GPU khusus.

  • Strategi penskalaan:

    1. Horizontal: Tambah mesin
    2. Vertical: Perkuat satu mesin

  • Horizontal untuk trafik, vertical untuk keandalan dan kecepatan

Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...