Komponen untuk melatih LLM

Konsep Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

Kita berada di tahap mana?

Gambar yang menunjukkan kemajuan pembelajaran sebagai Pre-training

Konsep Large Language Models (LLM)

Generative pre-training

 

  • Dilatih dengan generative pre-training

    • Data masukan berupa token teks
    • Dilatih untuk memprediksi token dalam dataset

 

  • Jenis:
    • Prediksi kata berikutnya
    • Masked language modeling
Konsep Large Language Models (LLM)

Prediksi kata berikutnya

  • Teknik pembelajaran terawasi
    • Model dilatih pada pasangan input-output

 

  • Memprediksi kata berikutnya dan menghasilkan teks koheren
  • Menangkap ketergantungan antarkata

 

  • Data Latih
    • Pasangan contoh input dan output

Saran otomatis oleh mesin pencari

Konsep Large Language Models (LLM)

Data latih untuk prediksi kata berikutnya

Input

The quick brown

The quick brown fox

The quick brown fox jumps

The quick brown fox jumps over

The quick brown fox jumps over the

The quick brown fox jumps over the lazy

The quick brown fox jumps over the lazy dog.

Output

fox

jumps

over

the

lazy

dog

Konsep Large Language Models (LLM)

Kata mana yang paling terkait dengan pizza?

 

  • Contoh lebih banyak = prediksi lebih baik

 

  • Contoh:
    • I love to eat pizza with _ _ _ _ _ _

 

  • Keju lebih terkait dengan pizza daripada yang lain

Probabilitas keterkaitan berbagai kata dengan kata "Pizza"

Konsep Large Language Models (LLM)

Masked language modeling

  • Menyembunyikan satu kata tertentu

  • Model terlatih memprediksi kata yang dimask

 

  • Teks Asli: "The quick brown fox jumps over the lazy dog."

  • Teks Termask: "The quick [MASK] fox jumps over the lazy dog."

 

  • Tujuan: memprediksi kata yang hilang

  • Berdasarkan pembelajaran dari data latih

Konsep Large Language Models (LLM)

Ayo berlatih!

Konsep Large Language Models (LLM)

Preparing Video For Download...