Tinh chỉnh hiệu quả trong RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Tinh chỉnh tiết kiệm tham số

  • Tinh chỉnh toàn bộ mô hình

Minh họa một mạng nơ-ron.

Reinforcement Learning from Human Feedback (RLHF)

Tinh chỉnh tiết kiệm tham số

  • Tinh chỉnh với PEFT

Minh họa một mạng nơ-ron với hầu hết tham số bị đóng băng.

  • LoRA: chỉ điều chỉnh một vài lớp
  • Lượng tử hóa: giảm độ chính xác kiểu dữ liệu
Reinforcement Learning from Human Feedback (RLHF)

Bước 1: tải mô hình hoạt động ở độ chính xác 8-bit

from peft import prepare_model_for_int8_training


pretrained_model = AutoModelForCausalLM.from_pretrained(
                                                        model_name, 
                                                        load_in_8bit=True
                                                       )

pretrained_model_8bit = prepare_model_for_int8_training(pretrained_model)
Reinforcement Learning from Human Feedback (RLHF)

Bước 2: thêm adapter có thể huấn luyện bằng peft

from peft import LoraConfig, get_peft_model


config = LoraConfig(

    r=32, # Hạng của ma trận hạng thấp

    lora_alpha=32, # Hệ số nhân cho cập nhật LoRA

    lora_dropout=0.1, # Tỷ lệ dropout cho các lớp LoRA

    bias="lora_only"# Chỉ cập nhật bias cho lớp LoRA, phần khác giữ nguyên

)


lora_model = get_peft_model(pretrained_model_8bit, config)
model = AutoModelForCausalLMWithValueHead.from_pretrained(lora_model)
Reinforcement Learning from Human Feedback (RLHF)

Bước 3: dùng một mô hình cho logits tham chiếu và hoạt động

ppo_trainer = PPOTrainer(
    config, # Cấu hình vừa định nghĩa
    model, # Mô hình PPO của chúng ta
    ref_model=None, 
    tokenizer=tokenizer, 
    dataset=dataset, 
    data_collator=collator, 
    optimizer=optimizer
)
Reinforcement Learning from Human Feedback (RLHF)

Ayo berlatih!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...