Вступ до RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Ласкаво просимо до курсу!

Викладач: Mina Parham

Інженер ШІ
Великі мовні моделі (LLMs)
Навчання з підкріпленням за людським зворотним звʼязком (RLHF)

Тема: Навчання з підкріпленням за людським зворотним звʼязком (RLHF)

Схема моделі ШІ з додатковим кроком за участі людини.

Ласкаво просимо до курсу!

Викладач: Mina Parham

Інженер ШІ
Великі мовні моделі (LLMs)
Навчання з підкріпленням за людським зворотним звʼязком (RLHF)

Тема: Навчання з підкріпленням за людським зворотним звʼязком (RLHF)

Схема моделі ШІ з додатковим кроком за участі людини, що веде до кращих результатів.

Огляд навчання з підкріпленням

Схема з іконкою агента, дією та політикою винагород у циклі, що ілюструє процес навчання з підкріпленням.

Огляд навчання з підкріпленням

Схема з іконкою агента, дією та політикою винагород у циклі, що ілюструє процес навчання з підкріпленням.

Огляд навчання з підкріпленням

Схема з іконкою агента, дією та політикою винагород у циклі, що ілюструє процес навчання з підкріпленням.

Огляд навчання з підкріпленням

Схема з іконкою агента, дією та політикою винагород у циклі, що ілюструє процес навчання з підкріпленням.

Від RL до RLHF

Схема з іконкою LLM, текстовим виводом і людським оцінювачем — частина циклу RLHF.

Від RL до RLHF

Схема з іконкою LLM, текстовим виводом і людським оцінювачем — частина циклу RLHF.

Від RL до RLHF

Навчання reward model
Узгодження з людськими уподобаннями

Схема з іконкою LLM, текстовим виводом і людським оцінювачем — частина циклу RLHF.

Дотонування LLM у RLHF

Іконка великої мовної моделі.

Дотонування LLM у RLHF

Навчання початкової LLM

Іконка великої мовної моделі, дотонованої на вхідному наборі даних.

Повний процес RLHF

Підказка «Who wrote Romeo and Juliet» подається в LLM.

Повний процес RLHF

Підказка «Who wrote Romeo and Juliet», LLM відповідає: «a 16th Century author».

Повний процес RLHF

Підказка «Who wrote Romeo and Juliet», LLM відповідає: «a 16th Century author», додаткова модель — policy model — також отримує цю підказку.

Повний процес RLHF

Підказка «Who wrote Romeo and Juliet», LLM відповідає: «a 16th Century author», додаткова policy model отримує підказку та навчається за допомогою reward model.

Повний процес RLHF

Підказка «Who wrote Romeo and Juliet», LLM відповідає: «a 16th Century author», policy model, навчена за допомогою reward model, дає відповідь «William Shakespeare».

Повний процес RLHF

Підказка «Who wrote Romeo and Juliet», LLM відповідає: «a 16th Century author», policy model, навчена за допомогою reward model, дає «William Shakespeare», і порівняння між двома результатами.

Взаємодія з LLM, дотонованими RLHF

Попередньо навчені моделі RLHF на Hugging Face 🤗

from transformers import pipeline

text_generator = pipeline('text-generation', model='lvwerra/gpt2-imdb-pos-v2')

# Provide a review prompt
review_prompt = "This is definitely a"

# Generate the continuation
output = text_generator(review_prompt, max_length=50)

#Print the generated text
print(output[0]['generated_text'])

This is definitely a crucial improvement.

Взаємодія з LLM, дотонованими RLHF

from transformers import pipeline, AutoModelForSequenceClassification, AutoTokenizer


# Instantiate the pre-trained model and tokenizer
model = AutoModelForSequenceClassification.from_pretrained("lvwerra/distilbert-imdb")
tokenizer = AutoTokenizer.from_pretrained("lvwerra/distilbert-imdb")


# Use pipeline to create the sentiment analyzer
sentiment_analyzer = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)

# Pass the text to the sentiment analyzer and print the result
sentiment = sentiment_analyzer("This is definitely a crucial improvement.")

print(f"Sentiment Analysis Result: {sentiment}")

positive

Давайте потренуємось!

Reinforcement Learning from Human Feedback (RLHF)