Modelli di ricompensa: panoramica

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Processo finora

Un diagramma che rappresenta la parte del processo RLHF vista finora.

Reinforcement Learning from Human Feedback (RLHF)

Processo finora

Un diagramma che rappresenta la parte del processo RLHF vista finora, con una freccia verso il prossimo passo: i modelli di ricompensa.

Reinforcement Learning from Human Feedback (RLHF)

Cos'è un modello di ricompensa?

 

  Un diagramma che mostra un modello di IA con una freccia che punta a un output.

Reinforcement Learning from Human Feedback (RLHF)

Cos'è un modello di ricompensa?

  • Il modello guida l'agente
  • L'agente valuta il modello per massimizzare le ricompense

Un diagramma che mostra un modello di IA e un agente guidato da uno schema di ricompensa con una freccia che punta a un output.

Reinforcement Learning from Human Feedback (RLHF)

Usare il reward trainer

from trl import RewardTrainer, RewardConfig

from transformers import AutoModelForSequenceClassification, AutoTokenizer

from datasets import load_dataset

# Carica il modello e il tokenizer pre-addestrati
model = AutoModelForSequenceClassification.from_pretrained("gpt2", num_labels=1)
tokenizer = AutoTokenizer.from_pretrained("gpt2")

# Carica il dataset nel formato richiesto
dataset = load_dataset("path/to/dataset")
Reinforcement Learning from Human Feedback (RLHF)

Addestrare il modello di ricompensa

# Definisci gli argomenti di training
training_args = RewardConfig(

    output_dir="path/to/output/dir",

    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,

    num_train_epochs=3,

    learning_rate=1e-3

)
Reinforcement Learning from Human Feedback (RLHF)

Addestrare il modello di ricompensa

# Inizializza il RewardTrainer
trainer = RewardTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    tokenizer=tokenizer,
)

# Addestra il modello di ricompensa
trainer.train()
Reinforcement Learning from Human Feedback (RLHF)

Esercitiamoci!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...