RLHF के लिए डेटा तैयार करना

मानवीय फीडबैक से रिइनफोर्समेंट लर्निंग (RLHF)

Mina Parham

AI Engineer

Preference बनाम Prompt डेटासेट्स

पूरी RLHF प्रक्रिया.

Preference बनाम Prompt डेटासेट्स

प्रारंभिक prompt डेटासेट के साथ पूरी RLHF प्रक्रिया.

Preference बनाम Prompt डेटासेट्स

प्रारंभिक prompt डेटासेट और reward मॉडल में जाने वाला preference डेटासेट सहित पूरी RLHF प्रक्रिया.

Prompt डेटासेट

मॉडल के लिए प्रश्न
Hugging Face datasets पर मिल सकते हैं

prompt_data = load_dataset("center-for-humans-and-machines/rlhf-hackathon-prompts", 
                           split="train")
prompt_data['prompt'][0]

'How important is climate change?'

कभी-कभी prompt निकालना पड़ता है
ऐसे मार्कर देखें: Input=, {{Text}}:, ###Human:

Preference डेटासेट का अन्वेषण

from datasets import load_dataset
preference_data = load_dataset("trl-internal-testing/hh-rlhf-helpful-base-trl-style", 
                               split="train")

Hugging Face प्लेटफ़ॉर्म का स्क्रीनशॉट, जिसमें hh-rlhf डेटासेट दिख रहा है.

Preference डेटासेट प्रोसेस करना

def extract_prompt(text):
    # सूची में पहले तत्व के रूप में prompt निकालें
    prompt = text[0]["content"]
    return prompt

# extraction फंक्शन को डेटासेट पर लागू करें
preference_data_with_prompt = preference_data.map(
    lambda example: {**example, 'prompt': extract_prompt(example['chosen'])}
)

अलग-अलग डेटासेट्स में prompts निकालने का तरीका अलग होता है

अंतिम preference डेटासेट

sample = preference_data_with_prompt.select(range(1))
sample['prompt']

'What vitamins are essential for the body to function?'

sample['chosen']

[ { "content": "What vitamins are essential for the body to function?", "role": 
   "user" }, { "content": "There are some very important vitamins that ensure the 
   proper functioning of the body, including Vitamins A, C, D, E, and K along ...}]

अभ्यास करते हैं!

मानवीय फीडबैक से रिइनफोर्समेंट लर्निंग (RLHF)