Przygotowanie danych do RLHF

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Mina Parham

AI Engineer

Zbiory danych preferencji i promptów

Kompletny proces RLHF.

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Zbiory danych preferencji i promptów

Kompletny proces RLHF z początkowym zbiorem danych promptów.

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Zbiory danych preferencji i promptów

Kompletny proces RLHF z początkowym zbiorem danych promptów i zbiorem danych preferencji zasilającym model nagrody.

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Zbiór danych promptów

  • Pytania dla modelu
  • Dostępne w zbiorach danych Hugging Face
prompt_data = load_dataset("center-for-humans-and-machines/rlhf-hackathon-prompts", 
                           split="train")
prompt_data['prompt'][0]

'How important is climate change?'
  • Może wymagać ekstrakcji promptu
  • Należy szukać znaczników takich jak: Input=, {{Text}}:, ###Human:
Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Eksploracja zbioru danych preferencji

from datasets import load_dataset
preference_data = load_dataset("trl-internal-testing/hh-rlhf-helpful-base-trl-style", 
                               split="train")

Zrzut ekranu platformy Hugging Face przedstawiający zbiór danych hh-rlhf.

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Przetwarzanie zbioru danych preferencji

def extract_prompt(text):
    # Extract the prompt as the first element in the list
    prompt = text[0]["content"]
    return prompt

# Apply the extraction function to the dataset
preference_data_with_prompt = preference_data.map(
    lambda example: {**example, 'prompt': extract_prompt(example['chosen'])}
)
  • Sposób ekstrakcji promptów różni się w zależności od zbioru danych
Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Końcowy zbiór danych preferencji

sample = preference_data_with_prompt.select(range(1))
sample['prompt']

'What vitamins are essential for the body to function?'

sample['chosen']

[ { "content": "What vitamins are essential for the body to function?", "role": 
   "user" }, { "content": "There are some very important vitamins that ensure the 
   proper functioning of the body, including Vitamins A, C, D, E, and K along ...}]
Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Czas na ćwiczenia!

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Preparing Video For Download...