RLHF için verileri hazırlama

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Mina Parham

AI Engineer

Tercih vs. İstem veri setleri

Tüm RLHF süreci.

Tercih vs. İstem veri setleri

Başlangıç istem veri setiyle tüm RLHF süreci.

Tercih vs. İstem veri setleri

Başlangıç istem veri seti ve ödül modeline beslenen bir tercih veri setiyle tüm RLHF süreci.

İstem veri seti

Modele sorulan sorular
Hugging Face datasets üzerinde bulunabilir

prompt_data = load_dataset("center-for-humans-and-machines/rlhf-hackathon-prompts", 
                           split="train")
prompt_data['prompt'][0]

'How important is climate change?'

İstemi çıkarmak gerekebilir
Şu işaretlere bakın: Input=, {{Text}}:, ###Human:

Tercih veri setini keşfetme

from datasets import load_dataset
preference_data = load_dataset("trl-internal-testing/hh-rlhf-helpful-base-trl-style", 
                               split="train")

Hugging Face platformunda hh-rlhf veri setini gösteren ekran görüntüsü.

Tercih veri setini işleme

def extract_prompt(text):
    # Extract the prompt as the first element in the list
    prompt = text[0]["content"]
    return prompt

# Apply the extraction function to the dataset
preference_data_with_prompt = preference_data.map(
    lambda example: {**example, 'prompt': extract_prompt(example['chosen'])}
)

İstemlerin çıkarılma yöntemi veri setine göre değişir

Nihai tercih veri seti

sample = preference_data_with_prompt.select(range(1))
sample['prompt']

'What vitamins are essential for the body to function?'

sample['chosen']

[ { "content": "What vitamins are essential for the body to function?", "role": 
   "user" }, { "content": "There are some very important vitamins that ensure the 
   proper functioning of the body, including Vitamins A, C, D, E, and K along ...}]

Hadi pratik yapalım!

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)