RLHF için veriyi hazırlama

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)

Mina Parham

AI Engineer

Preference ve Prompt veri kümeleri

Tam RLHF süreci.

Preference ve Prompt veri kümeleri

Başlangıç prompt veri kümesiyle tam RLHF süreci.

Preference ve Prompt veri kümeleri

Başlangıç prompt veri kümesi ve ödül modeline beslenen bir preference veri kümesiyle tam RLHF süreci.

Prompt veri kümesi

Model için sorular
Hugging Face veri kümelerinde bulunabilir

prompt_data = load_dataset("center-for-humans-and-machines/rlhf-hackathon-prompts", 
                           split="train")
prompt_data['prompt'][0]

'How important is climate change?'

Prompt'u çıkarman gerekebilir
Şu işaretlere bak: Input=, {{Text}}:, ###Human:

Preference veri kümesini keşfetme

from datasets import load_dataset
preference_data = load_dataset("qgallouedec/hh-rlhf-helpful-base-trl-style", 
                               split="train")

Preference veri kümesini işleme

def extract_prompt(text):
    # Prompt'u listedeki ilk öğe olarak çıkar
    prompt = text[0]["content"]
    return prompt

# Çıkarma fonksiyonunu veri kümesine uygula
preference_data_with_prompt = preference_data.map(
    lambda example: {**example, 'prompt': extract_prompt(example['chosen'])}
)

Prompt çıkarma yöntemi veri kümelerine göre değişir

Son preference veri kümesi

sample = preference_data_with_prompt.select(range(1))
sample['prompt']

'What vitamins are essential for the body to function?'

sample['chosen']

[ { "content": "What vitamins are essential for the body to function?", "role": 
   "user" }, { "content": "There are some very important vitamins that ensure the 
   proper functioning of the body, including Vitamins A, C, D, E, and K along ...}]

Hadi pratik yapalım!

İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF)