Průzkum modelů odměn

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Dosavadní postup

Diagram znázorňující část procesu RLHF, která byla dosud probrána.

Reinforcement Learning from Human Feedback (RLHF)

Dosavadní postup

Diagram znázorňující část procesu RLHF dosud probranou a šipku ukazující na další krok: modely odměn.

Reinforcement Learning from Human Feedback (RLHF)

Co je model odměn?

 

  Diagram zobrazující model AI se šipkou ukazující na výstup.

Reinforcement Learning from Human Feedback (RLHF)

Co je model odměn?

  • Model informuje agenta
  • Agent vyhodnocuje model za účelem maximalizace odměn

Diagram zobrazující model AI a agenta řízeného schématem odměn se šipkou ukazující na výstup.

Reinforcement Learning from Human Feedback (RLHF)

Použití trenéra odměn

from trl import RewardTrainer, RewardConfig

from transformers import AutoModelForSequenceClassification, AutoTokenizer

from datasets import load_dataset

# Load pre-trained model and tokenizer
model = AutoModelForSequenceClassification.from_pretrained("gpt2", num_labels=1)
tokenizer = AutoTokenizer.from_pretrained("gpt2")

# Load dataset in the required format
dataset = load_dataset("path/to/dataset")
Reinforcement Learning from Human Feedback (RLHF)

Trénování modelu odměn

# Define training arguments
training_args = RewardConfig(

    output_dir="path/to/output/dir",

    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,

    num_train_epochs=3,

    learning_rate=1e-3

)
Reinforcement Learning from Human Feedback (RLHF)

Trénování modelu odměn

# Initialize the RewardTrainer
trainer = RewardTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    tokenizer=tokenizer,
)

# Train the reward model
trainer.train()
Reinforcement Learning from Human Feedback (RLHF)

Pojďme si procvičit!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...