Методи збирання високоякісного фідбеку

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Методи збирання високоякісного фідбеку

Процес RLHF без моделі винагород.

Reinforcement Learning from Human Feedback (RLHF)

Методи збирання високоякісного фідбеку

Повний процес RLHF.

Reinforcement Learning from Human Feedback (RLHF)

Парні порівняння

  • Вибір між двома варіантами:
  • Переваги: просто, інтуїтивно, зменшує упередження
  • Виклики: менше інформації з однієї мітки
  • Приклад: Фільм A vs. Фільм B: «Який ви віддаєте перевагу?»

Людина тримає два плакати: один з іконкою «Прийнято», інший — з «Відхилено».

Reinforcement Learning from Human Feedback (RLHF)

Парні порівняння

def evaluate_responses(responses_A, responses_B):
    wins_A, wins_B = 0, 0
    for (response_A, score_A), (response_B, score_B) in zip(responses_A, responses_B):
        if score_A > score_B:
            wins_A += 1
        else:
            wins_B += 1
    success_rate_A = (wins_A / len(responses_A)) * 100
    success_rate_B = (wins_B / len(responses_B)) * 100
    return success_rate_A, success_rate_B
Reinforcement Learning from Human Feedback (RLHF)

Рейтинги

  • Присвоєння оцінки за шкалою:

  • Переваги: детальніший фідбек

  • Виклики: схильність до упереджень, неузгоджені шкали
  • Приклад:
      Фільм A: 4/5
  Фільм B: 3/5

Ілюстрація: жінка тримає зірку, довкола — іконки оцінок.

Reinforcement Learning from Human Feedback (RLHF)

Психологічні чинники

  • Когнітивні упередження:
    • Ефект фреймінгу: як подано запитання, впливає на відповіді
    • Ефект серійної позиції: порядок варіантів впливає на вибір
    • Якір: попередня інформація зміщує поточні рішення

Людина бачить очима квадрат, але сприймає як прямокутник — ілюстрація упередження.

Reinforcement Learning from Human Feedback (RLHF)

Рекомендації щодо збирання якісного фідбеку

 

  • Когнітивне навантаження: втомлені користувачі, несталий фідбек
  • Формулюйте запитання ретельно
    • Щоб зменшити ризики від когнітивного навантаження.
  • Рандомізуйте порядок запитів
    • Щоб мінімізувати упередження якоря й фреймінгу
  • Збирайте різноманітні дані
    • Щоб зменшити шум.

Чоловік і жінка аналізують фідбек і тексти.

Reinforcement Learning from Human Feedback (RLHF)

Давайте потренуємось!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...