Pregătirea datelor pentru RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Seturi de date de preferințe vs. prompturi

Procesul complet RLHF.

Reinforcement Learning from Human Feedback (RLHF)

Seturi de date de preferințe vs. prompturi

Procesul complet RLHF cu setul inițial de date de prompturi.

Reinforcement Learning from Human Feedback (RLHF)

Seturi de date de preferințe vs. prompturi

Procesul complet RLHF cu setul inițial de prompturi și un set de date de preferințe care alimentează modelul de recompensă.

Reinforcement Learning from Human Feedback (RLHF)

Setul de date de prompturi

  • Întrebări pentru model
  • Disponibile pe Hugging Face datasets
prompt_data = load_dataset("center-for-humans-and-machines/rlhf-hackathon-prompts", 
                           split="train")
prompt_data['prompt'][0]

'How important is climate change?'
  • Poate fi necesară extragerea promptului
  • Căutați marcatori precum: Input=, {{Text}}:, ###Human:
Reinforcement Learning from Human Feedback (RLHF)

Explorarea setului de date de preferințe

from datasets import load_dataset
preference_data = load_dataset("trl-internal-testing/hh-rlhf-helpful-base-trl-style", 
                               split="train")

O captură de ecran a platformei Hugging Face cu setul de date hh-rlhf.

Reinforcement Learning from Human Feedback (RLHF)

Procesarea setului de date de preferințe

def extract_prompt(text):
    # Extract the prompt as the first element in the list
    prompt = text[0]["content"]
    return prompt

# Apply the extraction function to the dataset
preference_data_with_prompt = preference_data.map(
    lambda example: {**example, 'prompt': extract_prompt(example['chosen'])}
)
  • Modul de extragere a prompturilor diferă de la un set de date la altul
Reinforcement Learning from Human Feedback (RLHF)

Setul final de date de preferințe

sample = preference_data_with_prompt.select(range(1))
sample['prompt']

'What vitamins are essential for the body to function?'

sample['chosen']

[ { "content": "What vitamins are essential for the body to function?", "role": 
   "user" }, { "content": "There are some very important vitamins that ensure the 
   proper functioning of the body, including Vitamins A, C, D, E, and K along ...}]
Reinforcement Learning from Human Feedback (RLHF)

Să exersăm!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...