Підготовка даних для RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Набори даних Preference vs. Prompt

Повний процес RLHF.

Reinforcement Learning from Human Feedback (RLHF)

Набори даних Preference vs. Prompt

Повний процес RLHF з початковим набором підказок.

Reinforcement Learning from Human Feedback (RLHF)

Набори даних Preference vs. Prompt

Повний процес RLHF з початковим набором підказок і набором уподобань, що надходить у модель винагород.

Reinforcement Learning from Human Feedback (RLHF)

Набір даних із підказками (Prompt)

  • Запитання для моделі
  • Доступні в наборах даних Hugging Face
prompt_data = load_dataset("center-for-humans-and-machines/rlhf-hackathon-prompts", 
                           split="train")
prompt_data['prompt'][0]

'How important is climate change?'
  • Можливо, доведеться витягти сам prompt
  • Шукайте маркери на кшталт: Input=, {{Text}}:, ###Human:
Reinforcement Learning from Human Feedback (RLHF)

Ознайомлення з набором уподобань

from datasets import load_dataset
preference_data = load_dataset("trl-internal-testing/hh-rlhf-helpful-base-trl-style", 
                               split="train")

Скріншот платформи Hugging Face із датасетом hh-rlhf.

Reinforcement Learning from Human Feedback (RLHF)

Обробка набору уподобань

def extract_prompt(text):
    # Extract the prompt as the first element in the list
    prompt = text[0]["content"]
    return prompt

# Apply the extraction function to the dataset
preference_data_with_prompt = preference_data.map(
    lambda example: {**example, 'prompt': extract_prompt(example['chosen'])}
)
  • Спосіб вилучення підказок різниться для різних наборів даних
Reinforcement Learning from Human Feedback (RLHF)

Фінальний набір уподобань

sample = preference_data_with_prompt.select(range(1))
sample['prompt']

'What vitamins are essential for the body to function?'

sample['chosen']

[ { "content": "What vitamins are essential for the body to function?", "role": 
   "user" }, { "content": "There are some very important vitamins that ensure the 
   proper functioning of the body, including Vitamins A, C, D, E, and K along ...}]
Reinforcement Learning from Human Feedback (RLHF)

Давайте потренуємось!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...