Методы сбора качественной обратной связи

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Mina Parham

AI Engineer

Методы сбора качественной обратной связи

Процесс RLHF без модели вознаграждения.

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Методы сбора качественной обратной связи

Полный процесс RLHF.

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Попарные сравнения

  • Выбор между двумя вариантами:
  • Преимущества: просто, интуитивно, снижает предвзятость
  • Сложности: мало информации на одну метку
  • Пример: Фильм A или фильм B: «Какой вам больше нравится?»

Человек держит в руках два знака: один с иконкой «Принято», другой — «Отклонено».

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Попарные сравнения

def evaluate_responses(responses_A, responses_B):
    wins_A, wins_B = 0, 0
    for (response_A, score_A), (response_B, score_B) in zip(responses_A, responses_B):
        if score_A > score_B:
            wins_A += 1
        else:
            wins_B += 1
    success_rate_A = (wins_A / len(responses_A)) * 100
    success_rate_B = (wins_B / len(responses_B)) * 100
    return success_rate_A, success_rate_B
Обучение с подкреплением на основе обратной связи от людей (RLHF)

Оценки

  • Присвоение оценки по шкале:

  • Преимущества: более детальная обратная связь

  • Сложности: подвержено предвзятостям, шкалы непоследовательны
  • Пример:
      Фильм A: 4/5
  Фильм B: 3/5

Иллюстрация: женщина держит звезду, вокруг неё — иконки оценок.

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Психологические факторы

  • Когнитивные искажения:
    • Эффект фрейминга: формулировка вопроса влияет на ответы
    • Эффект позиции в ряду: порядок вариантов влияет на выбор
    • Эффект якоря: предшествующая информация искажает текущие решения

Человек видит квадрат глазами, но воспринимает его как прямоугольник — иллюстрация когнитивного искажения.

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Рекомендации по сбору качественной обратной связи

 

  • Когнитивная нагрузка: усталые пользователи, непоследовательная обратная связь
  • Тщательно формулируйте вопросы
    • Чтобы снизить риски когнитивной нагрузки.
  • Рандомизируйте порядок вопросов
    • Чтобы минимизировать предвзятость из-за якоря и фрейминга.
  • Собирайте разнообразные данные
    • Чтобы снизить влияние шума.

Мужчина и женщина анализируют обратную связь и тексты.

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Давайте потренируемся!

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Preparing Video For Download...