Utvärdering av RLHF-modeller

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Automationsmått

 

  • Klassificeringsuppgift: Accuracy, F1-poäng
classification_results.head(3)

| ID | Feedback_Text                         | True_Category | Predicted_Category |
|----|---------------------------------------|---------------|--------------------|
| 1  | "Arrived on time and works great."    | Positive      | Positive           |
| 2  | "I had issues with customer service." | Negative      | Neutral            |
| 3  | "The website is easy to navigate."    | Positive      | Positive           |
Reinforcement Learning from Human Feedback (RLHF)

Automationsmått

 

  • Textgenerering, sammanfattning: ROUGE, BLEU
text_generation.head(3)

| ID | Prompt               | True_Completion  | Pred_Completion   |
|----|----------------------|------------------|-------------------|
| 1  | "Customer service"   | "can help you."  | "will assist."    |
| 2  | "To get a refund,"   | "contact us."    | "reach out."      |
| 3  | "Support team is"    | "here 24/7."     | "available 24/7." |
Reinforcement Learning from Human Feedback (RLHF)

Automationsmått

 

 

Referenspåstående:

  • RLHF förbättrar modellens anpassning till mänskliga värderingar.

 

 

ROUGE-poäng: 0,83

 

 

Påstående att jämföra:

  • RLHF anpassar modeller till mänskliga värderingar.
Reinforcement Learning from Human Feedback (RLHF)

Artefaktkurvor

config = PPOConfig(
    model_name="lvwerra/gpt2-imdb",learning_rate=1.41e-5, log_with="wandb")

import wandb
wandb.init()

En skärmbild av terminalutdata i Weights and Biases.

Reinforcement Learning from Human Feedback (RLHF)

Artefaktkurvor

  • Belöningen ökar när modellen lär sig.

En kurva som visar en uppåtgående trend i belöningen, vilket innebär att modellen förbättras.

  • KL-kurvan bör öka gradvis.

En kurva som visar en gradvis uppåtgående trend i KL-förlusten.

Reinforcement Learning from Human Feedback (RLHF)

Människocentrerad utvärdering

  • Mänsklig utvärdering: subjektiva bedömningar och djupare kontextförståelse

En mänsklig utvärderare vid sin laptop.

  • Modellutvärdering: skalbarhet och konsekvens

En robot med pratbubblor som representerar en modellutvärderare.

Reinforcement Learning from Human Feedback (RLHF)

Nu kör vi en övning!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...