Vorgefertigte Modelle zur Textgenerierung

Deep Learning für Text mit PyTorch

Shubham Jain

Instructor

Warum vorab trainierte Modelle?

Benefits

Trainiert mit umfangreichen Datensätzen
Hohe Leistung bei verschiedenen Textgenerierungsaufgaben
- Sentiment-Analyse
- Textvervollständigung
- Übersetzung von Sprachen

Limitations

Hoher Rechenaufwand für das Training von
Großer Speicherbedarf
Begrenzte Anpassungsmöglichkeiten

Vorgefertigte Modelle in PyTorch

"- Hugging Face Transformers: Bibliothek vortrainierter Modelle

Vortrainierte Modelle:
- GPT-2
- T5 {{2}}"

" HuggingFace-Logo {{1}}"

Verständnis des GPT-2-Tokenizers und -Modells

"GPT2LMHeadModel:

HuggingFaces Version von GPT-2
Speziell für die Textgenerierung entwickelt {{2}}"

"GPT2Tokenizer:

Wandelt Text in Token um
Verarbeitet Subwort-Tokenisierung: 'larger' könnte zu ['large', 'r'] werden {{4}}"

"GPT-2: Implementierung der Textgenerierung"

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

seed_text = "Once upon a time"

input_ids = tokenizer.encode(seed_text, return_tensors='pt')

"GPT-2: Textgenerierung Implementierung II"

output = model.generate(

                                                           )

"GPT-2: Textgenerierung Implementierung II"

output = model.generate(input_ids, max_length=40, 

                                                           )

"GPT-2: Textgenerierung Implementierung II"

output = model.generate(input_ids, max_length=40, temperature=0.7,     

                                                           )

"GPT-2: Textgenerierung Implementierung II"

output = model.generate(input_ids, max_length=40, temperature=0.7,     
                        no_repeat_ngram_size=2, 
                                                           )

"GPT-2: Textgenerierung Implementierung II"

output = model.generate(input_ids, max_length=40, temperature=0.7,     
                        no_repeat_ngram_size=2, 
                        pad_token_id=tokenizer.eos_token_id)

"GPT-2: Textgenerierungsausgabe"

"python generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text)

out Generierter Text: Es war einmal, da war die Welt ein Ort von großer Schönheit und großer Gefahr. Die Welt der Götter war der Ort, an dem die großen Götter geboren wurden und an dem sie leben sollten.{{2}}"

"T5: Implementierung der Sprachübersetzung"

"- t5-small: Text-to-Text Transfer Transformer

Vorgefertigtes Modell für Aufgaben der maschinellen Übersetzung

import torch
from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained(\"t5-small\")
model = T5ForConditionalGeneration.from_pretrained(\"t5-small\")

input_prompt = \"translate English to French: 'Hallo, wie geht es dir?'\"

input_ids = tokenizer.encode(input_prompt, return_tensors=\"pt\")

----CODE_GLUE---- python output = model.generate(input_ids, max_length=100){{6}}"

"T5: Sprachausgabe der Übersetzung"

"`python generated_text = tokenizer.decode(output[0], skip_special_tokens=True)


----CODE_GLUE----
```python
print(\"Generated text:\",generated_text)

out Generierter Text: \"Hallo, wie geht es Ihnen?\"{{2}}"

Die richtige vortrainierte Modell auswählen

"- Viele existieren!

GPT-2: Textgenerierung
DistilGPT-2 (Kleinere Version von GPT-2): Textgenerierung
BERT: Textklassifikation, Fragebeantwortung
T5 (t5-small ist die kleinere Version von T5): Sprachübersetzung, Zusammenfassung

Finden Sie sie in HuggingFace und anderen Repositorien {{5}}"

Nun kannst du wieder etwas üben!

Deep Learning für Text mit PyTorch