Teknik pembelajaran

Konsep Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

Kita di tahap mana?

Melampaui keterbatasan data

 

• Fine-tuning: melatih model pra-latih untuk tugas spesifik

 

• Namun, bagaimana jika data berlabel sangat sedikit atau tidak ada?

 

• N-shot learning: zero-shot, few-shot, dan multi-shot

Transfer learning

• Belajar dari satu tugas lalu ditransfer ke tugas terkait
• Transfer pengetahuan dari piano ke gitar
  • Membaca not musik
  • Memahami ritme
  • Menguasai konsep musik

• N-shot learning
  • Zero-shot - tanpa data spesifik tugas
  • Few-shot - sedikit data spesifik tugas
  • Multi-shot - data latih relatif lebih banyak

Zero-shot learning

• Tanpa pelatihan eksplisit
• Memanfaatkan pemahaman bahasa dan konteks
• Menggeneralisasi tanpa contoh sebelumnya

¹ Freepik

Few-shot learning

• Pelajari tugas baru dengan beberapa contoh

• One-shot learning: fine-tuning dari satu contoh

• Pengetahuan awal untuk menjawab pertanyaan baru

Multi-shot learning

• Butuh lebih banyak contoh daripada few-shot

 

• Tugas sebelumnya + contoh baru

 

• Misalnya, model dilatih pada Golden Retriever

¹ Freepik

Multi-shot learning

• Keluaran model: Labrador Retriever

 

• Menghemat waktu pengumpulan dan pelabelan data

 

• Tanpa mengorbankan akurasi

¹ Freepik

Bangunan dasar sejauh ini

• Alur kerja penyiapan data

 

• Fine-tuning

 

• Teknik N-shot learning

 

• Selanjutnya: pre-training

Ayo berlatih!

Konsep Large Language Models (LLM)