Gelişmiş ince ayar

Large Language Models (LLMs) Kavramları

Vidhi Chugh

AI strategist and ethicist

Neredeyiz?

ilerleme görseli: Gelişmiş ince ayar aşamasındayız

Large Language Models (LLMs) Kavramları

İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme

 

  • Ön eğitim

 

  • İnce ayar

 

  • İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme (RLHF)

 

Dört kişinin emoji ve yıldızlarla olumlu geri bildirim verdiği çizim.

Large Language Models (LLMs) Kavramları

Ön eğitim

  • Büyük miktarda metin verisi:
    • Web siteleri, kitaplar ve makaleler
    • Transformer mimarisi
    • Genel dil örüntülerini, dilbilgisi ve bilgileri öğrenir

 

  • Sonraki sözcük tahmini
  • Maskeli dil modelleme

LLM’leri oluşturmak için ön eğitim süreci

1 Freepik
Large Language Models (LLMs) Kavramları

İnce ayar

 

  • N-shot eğitim

 

  • İlgili görev için küçük etiketli veri kümesi

İnce ayar süreci

Large Language Models (LLMs) Kavramları

Peki, neden RLHF?

  • Genel amaçlı eğitim verisinin kalitesi düşüktür
    • Gürültü
    • Hatalar
    • Tutarsızlıklar
    • Düşük doğruluk

Düşük doğruluk örneği:

  • Çevrimiçi forum verileriyle eğitildi
  • Doğrulanmamış görüşler ve bilgiler
  • Harici uzman doğrulaması gerekir

 

Merkeze isabet etmeyen oklarla okçuluk hedefi

Large Language Models (LLMs) Kavramları

İnce ayar ihtiyacıyla başlar

  • Ön eğitim
    • Dil örüntülerini öğrenir
    • Bağlama özgü karmaşıklıkları yakalayamaz

 

  • İnce ayar
    • Nitelikli etiketli veri performansı artırır

 

  • Sahneye RLHF girer!
    • İnsan geri bildirimi
Large Language Models (LLMs) Kavramları

RLHF’i basitleştirme

 

  • Model çıktısı insan tarafından gözden geçirilir
  • Geri bildirime göre model güncellenir

 

  • Adım 1:
    • Bir istem alır
    • Birden çok yanıt üretir

 

 

Bir LLM'in bir girdi istemini tüketip yanıt üretmesi

Large Language Models (LLMs) Kavramları

İnsan uzman devrede

 

  • Adım 2:
    • İnsan uzman yanıtları inceler
    • Yanıtları kaliteye göre sıralar
      • Doğruluk
      • Alaka
      • Tutarlılık

LLM yanıtlarına insan doğrulaması ekleme

Large Language Models (LLMs) Kavramları

Geri bildirim zamanı

  • Adım 3:
    • Uzmanın sıralamasından öğrenir
    • Gelecekteki yanıtlarını bu tercihlere uyarlar

 

  • Süreç sürer!
    • Yanıtlar üretmeye devam eder
    • Uzman sıralamalarını alır
    • Öğrenmesini ayarlar

 

 

İnsan yanıtı LLM’e geri beslenir

Large Language Models (LLMs) Kavramları

Özet

  • Ön eğitim genel dil bilgisini öğrenmek için

 

  • İnce ayar belirli görevler için

 

  • RLHF insan geri bildirimiyle ince ayarı güçlendirmek için

 

  • Birlikte çok etkilidir!
Large Language Models (LLMs) Kavramları

LLM’i tamamlama

Tüm LLM eğitim süreci

Large Language Models (LLMs) Kavramları

Hadi pratik yapalım!

Large Language Models (LLMs) Kavramları

Preparing Video For Download...