บทนำสู่ RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

ยินดีต้อนรับสู่คอร์ส!

ผู้สอน: Mina Parham

AI Engineer
Large Language Models (LLMs)
Reinforcement Learning from Human Feedback (RLHF)

หัวข้อ: Reinforcement Learning from Human Feedback (RLHF)

แผนภาพแสดงโมเดล AI พร้อมขั้นตอนเพิ่มเติมที่มนุษย์เข้ามามีส่วนร่วม

ยินดีต้อนรับสู่คอร์ส!

ผู้สอน: Mina Parham

AI Engineer
Large Language Models (LLMs)
Reinforcement Learning from Human Feedback (RLHF)

หัวข้อ: Reinforcement Learning from Human Feedback (RLHF)

แผนภาพแสดงโมเดล AI พร้อมขั้นตอนเพิ่มเติมที่มนุษย์เข้ามามีส่วนร่วม ซึ่งนำไปสู่ผลลัพธ์ที่ดีขึ้น

ทบทวน Reinforcement Learning

แผนภาพแสดงไอคอน agent การกระทำ และนโยบายรางวัลในวงจร แทนกระบวนการ reinforcement learning

ทบทวน Reinforcement Learning

จาก RL สู่ RLHF

แผนภาพแสดงไอคอน LLM ผลลัพธ์ข้อความ และผู้ประเมินที่เป็นมนุษย์ แทนส่วนหนึ่งของวงจร RLHF

จาก RL สู่ RLHF

การเทรน reward model
การปรับให้สอดคล้องกับความต้องการของมนุษย์

การ fine-tune LLM ใน RLHF

ไอคอนของ large language model

การ fine-tune LLM ใน RLHF

การเทรน LLM เริ่มต้น

ไอคอนของ large language model ที่ผ่านการ fine-tune ด้วยชุดข้อมูลอินพุต

กระบวนการ RLHF ทั้งหมด

พรอมต์ถามว่า "Who wrote Romeo and Juliet" ส่งเข้า LLM

กระบวนการ RLHF ทั้งหมด

พรอมต์ถามว่า "Who wrote Romeo and Juliet" โดย LLM ตอบว่า "a 16th Century author"

กระบวนการ RLHF ทั้งหมด

พรอมต์ถามว่า "Who wrote Romeo and Juliet" โดย LLM ตอบว่า "a 16th Century author" และมีโมเดลเพิ่มเติมคือ policy model รับพรอมต์นั้น

กระบวนการ RLHF ทั้งหมด

พรอมต์ถามว่า "Who wrote Romeo and Juliet" โดย LLM ตอบว่า "a 16th Century author" และมี policy model ที่ถูกเทรนด้วย reward model

กระบวนการ RLHF ทั้งหมด

พรอมต์ถามว่า "Who wrote Romeo and Juliet" โดย LLM ตอบว่า "a 16th Century author" และมี policy model ที่ถูกเทรนด้วย reward model ให้คำตอบว่า "William Shakespeare"

กระบวนการ RLHF ทั้งหมด

พรอมต์ถามว่า "Who wrote Romeo and Juliet" โดย LLM ตอบว่า "a 16th Century author" และมี policy model ที่ถูกเทรนด้วย reward model ให้คำตอบว่า "William Shakespeare" พร้อมการตรวจสอบระหว่างผลลัพธ์ทั้งสอง

การใช้งาน LLM ที่ผ่านการ tune ด้วย RLHF

โมเดล RLHF ที่เทรนไว้แล้วบน Hugging Face 🤗

from transformers import pipeline

text_generator = pipeline('text-generation', model='lvwerra/gpt2-imdb-pos-v2')

# Provide a review prompt
review_prompt = "This is definitely a"

# Generate the continuation
output = text_generator(review_prompt, max_length=50)

#Print the generated text
print(output[0]['generated_text'])

This is definitely a crucial improvement.

การใช้งาน LLM ที่ผ่านการ tune ด้วย RLHF

from transformers import pipeline, AutoModelForSequenceClassification, AutoTokenizer


# Instantiate the pre-trained model and tokenizer
model = AutoModelForSequenceClassification.from_pretrained("lvwerra/distilbert-imdb")
tokenizer = AutoTokenizer.from_pretrained("lvwerra/distilbert-imdb")


# Use pipeline to create the sentiment analyzer
sentiment_analyzer = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)

# Pass the text to the sentiment analyzer and print the result
sentiment = sentiment_analyzer("This is definitely a crucial improvement.")

print(f"Sentiment Analysis Result: {sentiment}")

positive

มาฝึกกันเถอะ!

Reinforcement Learning from Human Feedback (RLHF)