Méthodes pour recueillir une rétroaction de haute qualité

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Méthodes pour recueillir une rétroaction de haute qualité

Le processus RLHF, sans le modèle de récompense.

Reinforcement Learning from Human Feedback (RLHF)

Méthodes pour recueillir une rétroaction de haute qualité

Le processus RLHF complet.

Reinforcement Learning from Human Feedback (RLHF)

Comparaisons par paires

  • Choisir entre deux options :
  • Avantages : simple, intuitif, réduit les biais
  • Défis : moins d'information par étiquette
  • Exemple : Film A vs Film B : « Lequel préférez-vous ?

Une personne tient deux pancartes : une avec une icône « Accepté » et une avec une icône « Refusé ».

Reinforcement Learning from Human Feedback (RLHF)

Comparaisons par paires

def evaluate_responses(responses_A, responses_B):
    wins_A, wins_B = 0, 0
    for (response_A, score_A), (response_B, score_B) in zip(responses_A, responses_B):
        if score_A > score_B:
            wins_A += 1
        else:
            wins_B += 1
    success_rate_A = (wins_A / len(responses_A)) * 100
    success_rate_B = (wins_B / len(responses_B)) * 100
    return success_rate_A, success_rate_B
Reinforcement Learning from Human Feedback (RLHF)

Notations

  • Attribuer une note sur une échelle :

  • Avantages : rétroaction plus détaillée

  • Défis : biais possibles, échelles incohérentes
  • Exemple :
      Film A : 4/5
  Film B : 3/5

Illustration d'une femme tenant une étoile avec des icônes de notation autour d'elle.

Reinforcement Learning from Human Feedback (RLHF)

Facteurs psychologiques

  • Biais cognitifs :
    • Effet de cadrage : la formulation d'une question peut influencer les réponses
    • Effet de position sérielle : l'ordre de présentation des options peut influer sur les décisions
    • Ancrage : l'information antérieure biaise les décisions actuelles

Une personne voit un carré avec ses yeux mais l'interprète comme un rectangle dans son esprit, illustrant le concept de biais.

Reinforcement Learning from Human Feedback (RLHF)

Conseils pour recueillir une rétroaction de haute qualité

 

  • Charge cognitive : utilisateurs fatigués, rétroaction incohérente
  • Rédigez soigneusement les questions
    • Pour contrer les risques liés à la charge cognitive.
  • Aléatorisez l'ordre des requêtes
    • Pour minimiser les biais d'ancrage et de cadrage
  • Recueillez des données diversifiées
    • Pour atténuer le bruit.

Un homme et une femme analysent de la rétroaction et des textes.

Reinforcement Learning from Human Feedback (RLHF)

Passons à la pratique !

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...