Yüksek kaliteli geri bildirim toplama yöntemleri

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Mina Parham

AI Engineer

Yüksek kaliteli geri bildirim toplama yöntemleri

Ödül modeli olmadan RLHF süreci.

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Yüksek kaliteli geri bildirim toplama yöntemleri

Tam RLHF süreci.

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Çiftli karşılaştırmalar

  • İki seçenek arasında seçim:
  • Avantajlar: Basit, sezgisel, önyargıyı azaltır
  • Zorluklar: Etiket başına daha az bilgi sağlar
  • Örnek: Film A vs. Film B: "Hangisini tercih edersiniz?

Elinde “Kabul” ve “Reddedildi” simgeleri olan iki tabela tutan bir kişi.

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Çiftli karşılaştırmalar

def evaluate_responses(responses_A, responses_B):
    wins_A, wins_B = 0, 0
    for (response_A, score_A), (response_B, score_B) in zip(responses_A, responses_B):
        if score_A > score_B:
            wins_A += 1
        else:
            wins_B += 1
    success_rate_A = (wins_A / len(responses_A)) * 100
    success_rate_B = (wins_B / len(responses_B)) * 100
    return success_rate_A, success_rate_B
İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Puanlamalar

  • Bir ölçekte puan verme:

  • Avantajlar: Daha ayrıntılı geri bildirim sağlar

  • Zorluklar: Önyargılara açık, tutarsız ölçekler
  • Örnek:
      Film A: 4/5
  Film B: 3/5

Etrafında puanlama simgeleri olan bir yıldız tutan bir kadın illüstrasyonu.

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Psikolojik etkenler

  • Bilişsel Önyargılar:
    • Çerçeveleme Etkisi: Sorunun sunumu yanıtları etkileyebilir
    • Sıra Konumu Etkisi: Seçeneklerin sunulma sırası kararları etkileyebilir
    • Çapalama: Önceki bilgi mevcut kararları saptırır

Bir kişi gözleriyle kare görüp zihninde dikdörtgen olarak yorumluyor; önyargı kavramını betimliyor.

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Yüksek kaliteli geri bildirim toplama yönergeleri

 

  • Bilişsel yük: yorgun kullanıcılar, tutarsız geri bildirim
  • Soruları dikkatle formüle edin
    • Bilişsel yükten kaynaklı riskleri azaltmak için.
  • Soru sırasını rastgeleleştirin
    • Çapalama ve çerçeveleme önyargısını azaltmak için
  • Çeşitli veri toplayın
    • Gürültü sorununu azaltmak için.

Geri bildirim ve metinleri analiz eden bir erkek ve bir kadın resmi.

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Hadi pratik yapalım!

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Preparing Video For Download...