Досліджуємо reward-моделі

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Поточний процес

Схема, що показує частину процесу RLHF, розглянуту дотепер.

Поточний процес

Схема з підсумком опрацьованої частини RLHF і стрілкою до наступного кроку: reward-моделі.

Що таке reward-модель?

Схема з AI-моделлю та стрілкою до виходу.

Що таке reward-модель?

Модель інформує агента
Агент оцінює модель, щоб максимізувати винагороди

Схема з AI-моделлю та агентом, якого спрямовує схема винагород, зі стрілкою до виходу.

Використання RewardTrainer

from trl import RewardTrainer, RewardConfig

from transformers import AutoModelForSequenceClassification, AutoTokenizer

from datasets import load_dataset

# Load pre-trained model and tokenizer
model = AutoModelForSequenceClassification.from_pretrained("gpt2", num_labels=1)
tokenizer = AutoTokenizer.from_pretrained("gpt2")

# Load dataset in the required format
dataset = load_dataset("path/to/dataset")

Навчання reward-моделі

# Define training arguments
training_args = RewardConfig(

    output_dir="path/to/output/dir",

    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,

    num_train_epochs=3,

    learning_rate=1e-3

)

Навчання reward-моделі

# Initialize the RewardTrainer
trainer = RewardTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    tokenizer=tokenizer,
)

# Train the reward model
trainer.train()

Давайте потренуємось!

Reinforcement Learning from Human Feedback (RLHF)