RAG versus fine-tuning

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: RAG versus fine-tuning

Gambaran umum fase siklus hidup aplikasi LLM

Konsep LLMOps

Retrieval Augmented Generation (RAG)

Kartun lucu menggunakan pisang untuk menyalakan tablet

 

  • Gabungkan kemampuan penalaran LLM dengan pengetahuan eksternal.

  • Tiga langkah dalam chain:

    1. Retrieve dokumen terkait
    2. Augment prompt dengan contoh
    3. Generate output

  • Sering diimplementasikan dengan basis data vektor.

Konsep LLMOps

Rantai RAG dengan basis data vektor

  1. Retrieve:
    • Ubah input menjadi embedding
    • Cari di basis data vektor
    • Ambil dokumen paling mirip

Rantai retrieve

Konsep LLMOps

Rantai RAG dengan basis data vektor

  1. Retrieve:
    • Hasilkan embedding dari input
    • Cari di basis data vektor
    • Ambil dokumen paling mirip
  2. Augment:
    • Menggabungkan input dengan dokumen untuk membuat prompt final

Rantai augment

Konsep LLMOps

Rantai RAG dengan basis data vektor

  1. Retrieve:
    • Hasilkan embedding dari input
    • Cari di basis data vektor
    • Ambil dokumen paling mirip
  2. Augment:
    • Gabungkan input dengan dokumen top-k untuk membuat prompt teraugmentasi
  3. Generate:
    • Gunakan prompt untuk membuat output

Banyak pilihan implementasi dan model embedding. Eksperimen dan uji!

Rantai generate

Konsep LLMOps

Fine-tuning

 

Gambar lucu kartun mengenakan setelan yang difine-tune

 

 

  • Menyesuaikan bobot LLM
  • Perluas ke tugas dan domain spesifik:
    • Berbagai bahasa
    • Bidang khusus
Konsep LLMOps

Fine-tuning

Supervised fine-tuning                             (transfer learning)

Jenis data yang dibutuhkan 📂:

  • Data demonstrasi (input dengan output yang diinginkan)

Reinforcement Learning from Human Feedback (RLHF)

Jenis data yang dibutuhkan 📂:

  • Peringkat atau skor kualitas (dari suka & tidak suka)

Pendekatan 🔍:

  • Latih ulang (bagian) model

Pendekatan 🔍:

  • Latih model reward tambahan
  • Optimalkan LLM asli untuk memaksimalkannya
Konsep LLMOps

RAG atau fine-tuning

RAG
  • Gunakan saat menyertakan pengetahuan faktual
  • ✅ Menjaga kemampuan LLM, mudah diterapkan, selalu mutakhir
  • ❌ Menambah komponen, butuh rekayasa cermat

Kartun lucu menggunakan pisang untuk menyalakan tablet

Gambar lucu kartun mengenakan setelan yang difine-tune

Fine-tuning
  • Gunakan saat mengkhususkan ke domain baru
  • ✅ Kendali penuh dan tanpa komponen tambahan
  • ❌ Butuh data berlabel & keahlian khusus, amplifikasi bias, lupa katastrofik
Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas pengembangan chain dan agen ditambahkan

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas RAG ditambahkan

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas fine-tuning ditambahkan

Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...