Pengujian

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: Pengujian

Gambaran fase siklus hidup aplikasi LLM

Konsep LLMOps

Mengapa kita perlu menguji?

 

Gambar lucu dua karakter kartun memegang tanda jempol naik dan turun

 

 

  • LLM dapat membuat kesalahan
  • Pengujian penting untuk menilai kesiapan aplikasi sebelum deployment
  • Kita akan menilai keluaran
Konsep LLMOps

ML tradisional vs pengujian aplikasi LLM

Machine learning terawasi tradisional:

  • Butuh data latih dan uji berlabel
  • Metrik fokus pada akurasi atau kedekatan ke target

Gambar train dan test set untuk ML tradisional

Aplikasi LLM:

  • Butuh data uji, tidak harus berlabel
  • Kualitas keluaran dinilai dengan beragam metrik

Gambar train dan test set untuk aplikasi LLM

Konsep LLMOps

Langkah 1: Membangun himpunan uji

 

Gambar lucu karakter kartun mengumpulkan data

 

 

  • Pembangunan himpunan uji kini seharusnya selesai
  • Data uji harus sangat mirip skenario nyata
  • Ada beragam alat untuk membantu proses ini
Konsep LLMOps

Langkah 2: Memilih metrik

Jika ada jawaban benar...

  • ... gunakan metrik machine learning. Contoh:
    • Accuracy

Bagan alur menunjukkan "Use ML metrics"

Konsep LLMOps

Langkah 2: Memilih metrik

Jika ada jawaban acuan...

  • ... gunakan metode statistik.
  • ... gunakan metode berbasis model. Contoh:
    • Juri LLM

Bagan alur menunjukkan "Use text comparison metrics"

Konsep LLMOps

Langkah 2: Memilih metrik

Jika kita punya umpan balik manusia...

  • ... minta manusia memberi rating teks. Contoh:
    • Nilai kualitas
    • Nilai relevansi
    • Nilai koherensi
  • ... gunakan pendekatan berbasis model. Contoh:
    • Prediksi rating dari umpan balik sebelumnya
    • Tanyakan juri LLM apakah umpan balik sudah diterapkan

Bagan alur menunjukkan "Use feedback score metrics"

Konsep LLMOps

Langkah 2: Memilih metrik

Jika tidak ada umpan balik manusia...

  • ... gunakan metrik tanpa supervisi. Contoh:
    • Koherensi
    • Kefasihan
    • Keragaman

Bagan alur menunjukkan "Use unsupervised metrics"

Konsep LLMOps

Langkah 3: Tetapkan metrik sekunder opsional

 

 

Karakteristik keluaran:

  • 🎭 Bias
  • ☠ Toksisitas
  • 🤝 Kebermanfaatan

 

 

Karakteristik operasional:

  • ⏱ Latensi
  • 💰 Total biaya
  • 💻 Penggunaan memori
Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas fine-tuning ditambahkan

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas pengujian ditambahkan

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas pengujian ditambahkan

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas deployment ditambahkan

Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...