Příprava dat pro RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Preferenční vs. promptové datasety

Kompletní proces RLHF.

Reinforcement Learning from Human Feedback (RLHF)

Preferenční vs. promptové datasety

Kompletní proces RLHF s počátečním promptovým datasetem.

Reinforcement Learning from Human Feedback (RLHF)

Preferenční vs. promptové datasety

Kompletní proces RLHF s počátečním promptovým datasetem a preferenčním datasetem, který vstupuje do reward modelu.

Reinforcement Learning from Human Feedback (RLHF)

Promptový dataset

  • Otázky pro model
  • Najdeš je v datasetech na Hugging Face
prompt_data = load_dataset("center-for-humans-and-machines/rlhf-hackathon-prompts", 
                           split="train")
prompt_data['prompt'][0]

'How important is climate change?'
  • Prompt možná bude potřeba extrahovat
  • Hledej značky jako: Input=, {{Text}}:, ###Human:
Reinforcement Learning from Human Feedback (RLHF)

Prozkoumání preferenčního datasetu

from datasets import load_dataset
preference_data = load_dataset("qgallouedec/hh-rlhf-helpful-base-trl-style", 
                               split="train")
Reinforcement Learning from Human Feedback (RLHF)

Zpracování preferenčního datasetu

def extract_prompt(text):
    # Extract the prompt as the first element in the list
    prompt = text[0]["content"]
    return prompt

# Apply the extraction function to the dataset
preference_data_with_prompt = preference_data.map(
    lambda example: {**example, 'prompt': extract_prompt(example['chosen'])}
)
  • Způsob extrakce promptů se liší podle datasetu
Reinforcement Learning from Human Feedback (RLHF)

Finální preferenční dataset

sample = preference_data_with_prompt.select(range(1))
sample['prompt']

'What vitamins are essential for the body to function?'

sample['chosen']

[ { "content": "What vitamins are essential for the body to function?", "role": 
   "user" }, { "content": "There are some very important vitamins that ensure the 
   proper functioning of the body, including Vitamins A, C, D, E, and K along ...}]
Reinforcement Learning from Human Feedback (RLHF)

Pojďme cvičit!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...