Transformatöre giriş

Large Language Models (LLMs) Kavramları

Vidhi Chugh

AI strategist and ethicist

Neredeyiz?

İlerleme grafiği: transformatörü öğrenme aşamasındayız

Large Language Models (LLMs) Kavramları

Transformatör nedir?

  • "Attention Is All You Need"
    • Dil modellemede devrim yarattı

 

  • Transformatör mimarisi
    • Sözcükler arası ilişkiler
    • Bileşenler: Önişleme, Konumsal Kodlama, Kodlayıcılar ve Çözücüler

"Attention is all you need" makalesinden bir kesit

1 arXiv: Attention Is All You Need
Large Language Models (LLMs) Kavramları

Transformatörün içi

 

  • Girdi: Jane, who lives in New York and works as a software

 

Bir transformatörün iç bileşenleri ve veri akışı

 

  • Çıktı: engineer, loves exploring new restaurants in the city.
Large Language Models (LLMs) Kavramları

Transformatörler orkestraya benzer

Bir orkestra resmi

Large Language Models (LLMs) Kavramları

Metin önişleme ve temsil

  • Metin önişleme: tokenizasyon, durak sözcük temizleme, lemmatizasyon
  • Metin temsili: sözcük gömme

Bir transformatörün ilk bileşeninin vurgusu ve bazı bireysel notlar

Large Language Models (LLMs) Kavramları

Konumsal kodlama

  • Her sözcüğün konum bilgisi
  • Uzak sözcükleri anlama

Bir transformatörün ikinci bileşeninin vurgusu ve bir müzik parçası

Large Language Models (LLMs) Kavramları

Kodlayıcılar

  • Dikkat mekanizması: belirli sözcüklere ve ilişkilere odaklanır
  • Sinir ağı: belirli özellikleri işler

Akışta kodlayıcı

Large Language Models (LLMs) Kavramları

Çözücüler

  • Dikkat ve sinir ağlarını içerir
  • Çıktıyı üretir

Bir transformatörün çözücü bileşeni

Large Language Models (LLMs) Kavramları

Transformatörler ve uzun menzilli bağımlılıklar

 

  • Başlıca zorluk: uzun menzilli bağımlılık
  • Dikkat: girdinin farklı bölümlerine odaklanır

 

  • Örnek: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

Large Language Models (LLMs) Kavramları

Birden çok kısmı aynı anda işler

  • Geleneksel dil modellerinin sınırlaması:
    • Sıralı - bir seferde bir sözcük

 

  • Transformatörler:
    • Birden çok kısmı aynı anda işler
    • Daha hızlı işlem

 

  • Örneğin:
    • "The cat sat on the mat"
    • "cat", "sat", "on", "the" ve "mat"i aynı anda işler
Large Language Models (LLMs) Kavramları

Hadi pratik yapalım!

Large Language Models (LLMs) Kavramları

Preparing Video For Download...