Rantai dan agen

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: Rantai dan agen

Ringkasan fase siklus hidup aplikasi LLM

Konsep LLMOps

Dari prompt ke aplikasi

Templat prompt untuk klasifikasi kalori hidangan

 

  • Untuk memakai templat ini, kita perlu:
    • Contoh
    • Input
  • Langkah-langkahnya:
    1. Menerima input
    2. Mencari contoh
    3. Membuat prompt
    4. Mengambil output
    5. Mengurai output
Konsep LLMOps

Rantai memakai templat kita

 

Aplikasi LLM dengan rantai yang mengambil hidangan serupa dari basis data

Konsep LLMOps

Kebutuhan akan rantai

 

Gambar lucu tiga karakter kartun menggambar rantai

 

 

  • Kembangkan aplikasi canggih
  • Bangun desain modular untuk skala dan efisiensi
  • Buka peluang kustomisasi tanpa batas
Konsep LLMOps

Agen

 

 

Gambar lucu kartun yang menunggangi tikus robot

 

  • Agen terdiri dari:
    • Banyak aksi (atau tool)
    • LLM yang memilih aksi

 

  • Berguna saat:
    • Ada banyak aksi
    • Urutan langkah optimal tidak diketahui
    • Input tidak pasti
Konsep LLMOps

Agen

Arsitektur agen dengan dua aksi

Konsep LLMOps

Agen

Arsitektur agen dengan dua aksi

Konsep LLMOps

Agen

Arsitektur agen dengan dua aksi

Konsep LLMOps

Perbedaan antara rantai dan agen

 

 

Rantai 🔗 Agen 🤖
Sifat Deterministik Adaptif
Kompleksitas   Rendah Tinggi
Fleksibilitas Rendah Tinggi
Risiko Lebih rendah (lebih dapat diprediksi)                 Lebih tinggi (lebih adaptif)                
Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas prompt engineering

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan rantai dan agen.

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas pengembangan rantai dan agen

Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...