Rekayasa prompt

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: Rekayasa prompt

Gambaran fase siklus hidup aplikasi LLM

Konsep LLMOps

Siklus pengembangan

Ikhtisar awal siklus pengembangan, yang akan disempurnakan sepanjang bab ini

Konsep LLMOps

Mengapa rekayasa prompt penting?

 

Kartun edukatif tentang prompt

 

 

  • Tingkatkan kinerja
  • Kendalikan output
  • Hindari bias dan halusinasi
Konsep LLMOps

Elemen sebuah prompt

 

 

  1. Instruksi
  2. Contoh / Konteks
  3. Data input
  4. Indikator output

Contoh prompt yang menampilkan instruksi, contoh, input, dan output

Konsep LLMOps

Menemukan prompt yang tepat

 

 

Gambar dua karakter kartun bermain di taman bermain

 

Bereksperimenlah dengan:

  • Pengaturan LLM, seperti temperature atau max tokens
  • In-context learning dan pola desain prompt lainnya

 

Gunakan playground untuk eksperimen!

Konsep LLMOps

Manajemen prompt

 

 

Karakter kartun ceria mengarsipkan prompt dalam kotak

  • Krusial untuk efisiensi, reprodusibilitas, dan kolaborasi
  • Yang perlu dilacak:
    • Prompt
    • Output
    • Model dan pengaturan
  • Gunakan pengelola prompt atau version control
  • Mulai kumpulkan pasangan input–output yang baik untuk evaluasi
Konsep LLMOps

Templat prompt untuk keterpakaiulangan

Gambar prompt di kiri dan templat prompt di kanan, menyoroti perbedaannya

Konsep LLMOps

Siklus pengembangan

Ikhtisar awal siklus pengembangan, yang akan disempurnakan sepanjang bab ini

Konsep LLMOps

Siklus pengembangan

Siklus pengembangan dengan aktivitas rekayasa prompt yang ditambahkan

Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...