Tantangan pemodelan bahasa

Konsep Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

Urutan itu penting!

 

  • Saya hanya menjalani gaya hidup sehat.

 

 

  • Posisi berbeda = makna berbeda

 

  • Hanya saya yang menjalani gaya hidup sehat.

Ilustrasi seseorang dengan dua panah berlawanan arah dan tanda tanya di atas kepala.

1 Freepik
Konsep Large Language Models (LLM)

Pemodelan konteks

Gambar menampilkan kata 'Run' dapat memiliki banyak makna tergantung konteks.

Konsep Large Language Models (LLM)

Pemodelan konteks

Gambar menampilkan kata 'Run' yang berarti jogging.

Konsep Large Language Models (LLM)

Pemodelan konteks

Gambar menampilkan kata 'Run' yang berarti mengelola atau mengatur.

Konsep Large Language Models (LLM)

Pemodelan konteks

Gambar menampilkan kata 'Run' yang berarti mengoperasikan mesin

Konsep Large Language Models (LLM)

Pemodelan konteks

Menambah konteks pada gambar sebelumnya dengan contoh makna berbeda menurut konteks.

Konsep Large Language Models (LLM)

Ketergantungan jarak jauh

 

  • Mengenali dan mengaitkan kata yang berjauhan dalam kalimat
  • Menantang bagi model bahasa tradisional

Contoh ketergantungan jarak jauh: "The book that the young girl, who had just returned from her vacation, carefully placed on the shelf was quite heavy."

Konsep Large Language Models (LLM)

Pembelajaran satu tugas

Gambar tiga contoh pembelajaran satu tugas: penjelasan gambar, peringkasan teks, dan penerjemahan.

  • Mahal waktu dan sumber daya
  • Kurang fleksibel dibanding LLM modern
Konsep Large Language Models (LLM)

Pembelajaran multi-tugas

Gambar pembelajaran multi-tugas yang menggabungkan banyak kemampuan dalam satu model.

  • Kinerja tiap tugas meningkat
  • Bisa berdampak pada akurasi dan efisiensi
  • Butuh lebih sedikit data karena berbagi data
Konsep Large Language Models (LLM)

Ringkasan

Tantangan pemodelan bahasa:

  • Urutan kata

 

  • Memahami konteks

 

  • Ketergantungan jarak jauh

Pembelajaran satu tugas:

  • Spesifik tugas
  • Kurang fleksibel
  • Model tradisional dan LLM awal

 

Pembelajaran multi-tugas:

  • Serbaguna
  • Banyak tugas
  • LLM yang lebih matang
Konsep Large Language Models (LLM)

Ayo berlatih!

Konsep Large Language Models (LLM)

Preparing Video For Download...