Giới thiệu về RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Chào mừng đến với khóa học!

 

  • Giảng viên: Mina Parham

 

  • Kỹ sư AI
  • Mô hình ngôn ngữ lớn (LLM)
  • Học tăng cường từ phản hồi con người (RLHF)

 

  • Chủ đề: Học tăng cường từ phản hồi con người (RLHF)

Sơ đồ biểu diễn một mô hình AI có bước bổ sung với con người tham gia.

Reinforcement Learning from Human Feedback (RLHF)

Chào mừng đến với khóa học!

 

  • Giảng viên: Mina Parham

 

  • Kỹ sư AI
  • Mô hình ngôn ngữ lớn (LLM)
  • Học tăng cường từ phản hồi con người (RLHF)

 

  • Chủ đề: Học tăng cường từ phản hồi con người (RLHF)

Sơ đồ biểu diễn một mô hình AI có bước bổ sung với con người tham gia, dẫn đến kết quả tốt hơn.

Reinforcement Learning from Human Feedback (RLHF)

Ôn tập học tăng cường

Sơ đồ biểu diễn một tác tử, hành động và hàm thưởng trong chu kỳ, mô tả học tăng cường.

Reinforcement Learning from Human Feedback (RLHF)

Ôn tập học tăng cường

Sơ đồ biểu diễn một tác tử, hành động và hàm thưởng trong chu kỳ, mô tả học tăng cường.

Reinforcement Learning from Human Feedback (RLHF)

Ôn tập học tăng cường

Sơ đồ biểu diễn một tác tử, hành động và hàm thưởng trong chu kỳ, mô tả học tăng cường.

Reinforcement Learning from Human Feedback (RLHF)

Ôn tập học tăng cường

Sơ đồ biểu diễn một tác tử, hành động và hàm thưởng trong chu kỳ, mô tả học tăng cường.

Reinforcement Learning from Human Feedback (RLHF)

Từ RL đến RLHF

 

  Sơ đồ có biểu tượng LLM, đầu ra văn bản và người đánh giá, đại diện một phần chu kỳ RLHF.

Reinforcement Learning from Human Feedback (RLHF)

Từ RL đến RLHF

 

  Sơ đồ có biểu tượng LLM, đầu ra văn bản và người đánh giá, đại diện một phần chu kỳ RLHF.

Reinforcement Learning from Human Feedback (RLHF)

Từ RL đến RLHF

  • Huấn luyện mô hình thưởng
  • Căn chỉnh theo sở thích con người

Sơ đồ có biểu tượng LLM, đầu ra văn bản và người đánh giá, đại diện một phần chu kỳ RLHF.

Reinforcement Learning from Human Feedback (RLHF)

Fine-tune LLM trong RLHF

 

Biểu tượng một mô hình ngôn ngữ lớn.

Reinforcement Learning from Human Feedback (RLHF)

Fine-tune LLM trong RLHF

  • Huấn luyện LLM ban đầu

Biểu tượng LLM được fine-tune bằng tập dữ liệu đầu vào.

Reinforcement Learning from Human Feedback (RLHF)

Quy trình RLHF đầy đủ

Một prompt hỏi "Ai viết Romeo và Juliet" đưa vào LLM.

Reinforcement Learning from Human Feedback (RLHF)

Quy trình RLHF đầy đủ

Một prompt hỏi "Ai viết Romeo và Juliet" với LLM trả lời: "tác giả thế kỷ 16".

Reinforcement Learning from Human Feedback (RLHF)

Quy trình RLHF đầy đủ

Một prompt hỏi "Ai viết Romeo và Juliet" với LLM trả lời: "tác giả thế kỷ 16", và một mô hình bổ sung, mô hình policy, nhận prompt.

Reinforcement Learning from Human Feedback (RLHF)

Quy trình RLHF đầy đủ

Một prompt hỏi "Ai viết Romeo và Juliet" với LLM trả lời: "tác giả thế kỷ 16", và một mô hình bổ sung, mô hình policy, nhận prompt và được huấn luyện bằng mô hình thưởng.

Reinforcement Learning from Human Feedback (RLHF)

Quy trình RLHF đầy đủ

Một prompt hỏi "Ai viết Romeo và Juliet" với LLM trả lời: "tác giả thế kỷ 16", và một mô hình bổ sung, mô hình policy, được huấn luyện bằng mô hình thưởng, đưa ra câu trả lời "William Shakespeare".

Reinforcement Learning from Human Feedback (RLHF)

Quy trình RLHF đầy đủ

Một prompt hỏi "Ai viết Romeo và Juliet" với LLM trả lời: "tác giả thế kỷ 16", và một mô hình bổ sung, mô hình policy, được huấn luyện bằng mô hình thưởng, đưa ra câu trả lời "William Shakespeare", và có phần so sánh giữa hai kết quả.

Reinforcement Learning from Human Feedback (RLHF)

Tương tác với LLM tinh chỉnh bằng RLHF

  • Các mô hình RLHF đã huấn luyện sẵn trên Hugging Face 🤗
from transformers import pipeline

text_generator = pipeline('text-generation', model='lvwerra/gpt2-imdb-pos-v2')

# Provide a review prompt
review_prompt = "This is definitely a"

# Generate the continuation
output = text_generator(review_prompt, max_length=50)

#Print the generated text
print(output[0]['generated_text'])

This is definitely a crucial improvement.
Reinforcement Learning from Human Feedback (RLHF)

Tương tác với LLM tinh chỉnh bằng RLHF

from transformers import pipeline, AutoModelForSequenceClassification, AutoTokenizer


# Instantiate the pre-trained model and tokenizer
model = AutoModelForSequenceClassification.from_pretrained("lvwerra/distilbert-imdb")
tokenizer = AutoTokenizer.from_pretrained("lvwerra/distilbert-imdb")


# Use pipeline to create the sentiment analyzer
sentiment_analyzer = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)

# Pass the text to the sentiment analyzer and print the result
sentiment = sentiment_analyzer("This is definitely a crucial improvement.")

print(f"Sentiment Analysis Result: {sentiment}")

positive
Reinforcement Learning from Human Feedback (RLHF)

Ayo berlatih!

Reinforcement Learning from Human Feedback (RLHF)

Preparing Video For Download...