Memperkenalkan transformer

Konsep Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

Kita di mana?

Bagan kemajuan menunjukkan kita berada di pembelajaran transformer

Konsep Large Language Models (LLM)

Apa itu transformer?

  • "Attention Is All You Need"
    • Merevolusi pemodelan bahasa

 

  • Arsitektur transformer
    • Relasi antarkata
    • Komponen: Prapemrosesan, Positional Encoding, Encoder, dan Decoder

Cuplikan makalah "Attention is all you need"

1 arXiv: Attention Is All You Need
Konsep Large Language Models (LLM)

Di dalam transformer

 

  • Masukan: Jane, who lives in New York and works as a software

 

Komponen internal dan alur data di dalam transformer

 

  • Keluaran: engineer, loves exploring new restaurants in the city.
Konsep Large Language Models (LLM)

Transformer seperti orkestra

Gambar orkestra

Konsep Large Language Models (LLM)

Prapemrosesan dan representasi teks

  • Prapemrosesan teks: tokenisasi, penghapusan stopword, lemmatisasi
  • Representasi teks: word embedding

Sorotan komponen pertama transformer dan beberapa not individu

Konsep Large Language Models (LLM)

Positional encoding

  • Informasi posisi setiap kata
  • Memahami kata yang berjauhan

Sorotan komponen kedua transformer dan selembar musik

Konsep Large Language Models (LLM)

Encoder

  • Mekanisme attention: mengarahkan perhatian ke kata/relasi tertentu
  • Jaringan saraf: memproses fitur spesifik

Encoder dalam alur transformer

Konsep Large Language Models (LLM)

Decoder

  • Mencakup attention dan jaringan saraf
  • Menghasilkan keluaran

Komponen decoder pada transformer

Konsep Large Language Models (LLM)

Transformer dan ketergantungan jarak jauh

 

  • Tantangan awal: ketergantungan jarak jauh
  • Attention: fokus pada berbagai bagian masukan

 

  • Contoh: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" — "loves exploring new restaurants"

Konsep Large Language Models (LLM)

Memproses banyak bagian sekaligus

  • Keterbatasan model bahasa tradisional:
    • Sekuensial — satu kata per waktu

 

  • Transformer:
    • Memproses banyak bagian sekaligus
    • Pemrosesan lebih cepat

 

  • Contoh:
    • "The cat sat on the mat"
    • Memproses "cat," "sat," "on," "the," dan "mat" bersamaan
Konsep Large Language Models (LLM)

Ayo berlatih!

Konsep Large Language Models (LLM)

Preparing Video For Download...