LLM'leri eğitmenin yapı taşları

Large Language Models (LLMs) Kavramları

Vidhi Chugh

AI strategist and ethicist

Neredeyiz?

Ön eğitim olarak öğrenme ilerlemesini gösteren görsel

Large Language Models (LLMs) Kavramları

Üretimsel ön eğitim

 

  • Üretimsel ön eğitimle eğitilir

    • Girdi verisi: metin belirteçleri
    • Veri kümesindeki belirteçleri tahmin edecek şekilde eğitilir

 

  • Türler:
    • Sonraki sözcük tahmini
    • Maskeli dil modelleme
Large Language Models (LLMs) Kavramları

Sonraki sözcük tahmini

  • Denetimli öğrenme tekniği
    • Model, girdi-çıktı çiftleriyle eğitilir

 

  • Sonraki sözcüğü tahmin eder ve tutarlı metin üretir
  • Sözcükler arası bağımlılıkları yakalar

 

  • Eğitim verisi
    • Girdi ve çıktı örnek çiftleri

Bir arama motorunun otomatik önerisi

Large Language Models (LLMs) Kavramları

Sonraki sözcük tahmini için eğitim verisi

Girdi

The quick brown

The quick brown fox

The quick brown fox jumps

The quick brown fox jumps over

The quick brown fox jumps over the

The quick brown fox jumps over the lazy

The quick brown fox jumps over the lazy dog.

Çıktı

fox

jumps

over

the

lazy

dog

Large Language Models (LLMs) Kavramları

Pizzayla en çok hangi sözcük ilişkilidir?

 

  • Daha çok örnek = daha iyi tahmin

 

  • Örneğin:
    • I love to eat pizza with _ _ _ _ _ _

 

  • Peynir, pizzayla diğer her şeyden daha çok ilişkilidir

"Pizza" sözcüğüyle farklı sözcüklerin ilişki olasılıkları

Large Language Models (LLMs) Kavramları

Maskeli dil modelleme

  • Seçili bir sözcüğü gizler

  • Eğitilmiş model maskelenen sözcüğü tahmin eder

 

  • Orijinal Metin: "The quick brown fox jumps over the lazy dog."

  • Maskeli Metin: "The quick [MASK] fox jumps over the lazy dog."

 

  • Amaç: eksik sözcüğü tahmin etmek

  • Eğitim verisinden öğrenilenlere dayanır

Large Language Models (LLMs) Kavramları

Hadi pratik yapalım!

Large Language Models (LLMs) Kavramları

Preparing Video For Download...