Úvod do RLHF

Reinforcement Learning from Human Feedback (RLHF)

Mina Parham

AI Engineer

Vítejte v kurzu!

Instruktor: Mina Parham

AI inženýr
Velké jazykové modely (LLM)
Zpětnovazební učení z lidské zpětné vazby (RLHF)

Téma: Zpětnovazební učení z lidské zpětné vazby (RLHF)

Diagram reprezentující model umělé inteligence s dodatečným krokem zahrnujícím člověka.

Vítejte v kurzu!

Instruktor: Mina Parham

AI inženýr
Velké jazykové modely (LLM)
Zpětnovazební učení z lidské zpětné vazby (RLHF)

Téma: Zpětnovazební učení z lidské zpětné vazby (RLHF)

Diagram reprezentující model umělé inteligence s dodatečným krokem zahrnujícím člověka, vedoucím k lepším výsledkům.

Přehled zpětnovazebního učení

Diagram zobrazující ikonu agenta, akci a politiku odměn v cyklu, reprezentující proces zpětnovazebního učení.

Přehled zpětnovazebního učení

Diagram zobrazující ikonu agenta, akci a politiku odměn v cyklu, reprezentující proces zpětnovazebního učení.

Přehled zpětnovazebního učení

Diagram zobrazující ikonu agenta, akci a politiku odměn v cyklu, reprezentující proces zpětnovazebního učení.

Přehled zpětnovazebního učení

Diagram zobrazující ikonu agenta, akci a politiku odměn v cyklu, reprezentující proces zpětnovazebního učení.

Od RL k RLHF

Diagram zobrazující ikonu LLM, textový výstup a lidského hodnotitele, reprezentující část cyklu zpětnovazebního učení z lidské zpětné vazby.

Od RL k RLHF

Diagram zobrazující ikonu LLM, textový výstup a lidského hodnotitele, reprezentující část cyklu zpětnovazebního učení z lidské zpětné vazby.

Od RL k RLHF

Trénování modelu odměn
Sladění s lidskými preferencemi

Diagram zobrazující ikonu LLM, textový výstup a lidského hodnotitele, reprezentující část cyklu zpětnovazebního učení z lidské zpětné vazby.

Doladění LLM v RLHF

Ikona velkého jazykového modelu.

Doladění LLM v RLHF

Trénování počátečního LLM

Ikona velkého jazykového modelu doladěného pomocí vstupní datové sady.

Celý proces RLHF

Dotaz „Who wrote Romeo and Juliet" vstupující do LLM.

Celý proces RLHF

Dotaz „Who wrote Romeo and Juliet" s odpovědí LLM: „a 16th Century author".

Celý proces RLHF

Dotaz „Who wrote Romeo and Juliet" s odpovědí LLM: „a 16th Century author" a dodatečným modelem (policy model) přijímajícím dotaz.

Celý proces RLHF

Dotaz „Who wrote Romeo and Juliet" s odpovědí LLM: „a 16th Century author" a dodatečným modelem (policy model) trénovaným pomocí modelu odměn.

Celý proces RLHF

Dotaz „Who wrote Romeo and Juliet" s odpovědí LLM: „a 16th Century author" a dodatečným modelem (policy model) trénovaným pomocí modelu odměn, který vrací odpověď „William Shakespeare".

Celý proces RLHF

Dotaz „Who wrote Romeo and Juliet" s odpovědí LLM: „a 16th Century author" a dodatečným modelem (policy model) vracejícím „William Shakespeare" a porovnáním obou výsledků.

Interakce s LLM laděnými pomocí RLHF

Předtrénované modely RLHF na Hugging Face 🤗

from transformers import pipeline

text_generator = pipeline('text-generation', model='lvwerra/gpt2-imdb-pos-v2')

# Provide a review prompt
review_prompt = "This is definitely a"

# Generate the continuation
output = text_generator(review_prompt, max_length=50)

#Print the generated text
print(output[0]['generated_text'])

This is definitely a crucial improvement.

Interakce s LLM laděnými pomocí RLHF

from transformers import pipeline, AutoModelForSequenceClassification, AutoTokenizer


# Instantiate the pre-trained model and tokenizer
model = AutoModelForSequenceClassification.from_pretrained("lvwerra/distilbert-imdb")
tokenizer = AutoTokenizer.from_pretrained("lvwerra/distilbert-imdb")


# Use pipeline to create the sentiment analyzer
sentiment_analyzer = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)

# Pass the text to the sentiment analyzer and print the result
sentiment = sentiment_analyzer("This is definitely a crucial improvement.")

print(f"Sentiment Analysis Result: {sentiment}")

positive

Pojďme procvičovat!

Reinforcement Learning from Human Feedback (RLHF)