टेक्स्ट जनरेशन के लिए प्री-ट्रेंड मॉडल
PyTorch के साथ टेक्स्ट के लिए डीप लर्निंग
Shubham Jain
Instructor
प्री-ट्रेंड मॉडल क्यों?
लाभ
- बड़े डेटासेट पर trained
- विभिन्न टेक्स्ट जनरेशन टास्क में उच्च प्रदर्शन
- सेंटिमेंट एनालिसिस
- टेक्स्ट कम्प्लीशन
- लैंग्वेज ट्रांसलेशन
सीमाएँ
- ट्रेनिंग के लिए उच्च कंप्यूटेशनल लागत
- बड़े स्टोरेज की ज़रूरत
- कस्टमाइज़ेशन विकल्प सीमित
PyTorch में प्री-ट्रेंड मॉडल
- Hugging Face Transformers: प्री-ट्रेंड मॉडल की लाइब्रेरी
- प्री-ट्रेंड मॉडल:
- GPT-2
- T5
GPT-2 टोकनाइज़र और मॉडल समझें
GPT2LMHeadModel:
- HuggingFace का GPT-2 वर्ज़न
- टेक्स्ट जनरेशन के लिए अनुकूलित
GPT2Tokenizer:
- टेक्स्ट को टोकन्स में बदलता है
- सबवर्ड टोकनाइज़ेशन संभालता है: 'larger' → ['large', 'r']
GPT-2: टेक्स्ट जनरेशन इम्प्लीमेंटेशन
import torch from transformers import GPT2Tokenizer, GPT2LMHeadModeltokenizer = GPT2Tokenizer.from_pretrained('gpt2') model = GPT2LMHeadModel.from_pretrained('gpt2')seed_text = "Once upon a time"input_ids = tokenizer.encode(seed_text, return_tensors='pt')
GPT-2: टेक्स्ट जनरेशन इम्प्लीमेंटेशन II
output = model.generate(
)
GPT-2: टेक्स्ट जनरेशन इम्प्लीमेंटेशन II
output = model.generate(input_ids, max_length=40,
)
GPT-2: टेक्स्ट जनरेशन इम्प्लीमेंटेशन II
output = model.generate(input_ids, max_length=40, temperature=0.7,
)
GPT-2: टेक्स्ट जनरेशन इम्प्लीमेंटेशन II
output = model.generate(input_ids, max_length=40, temperature=0.7,
no_repeat_ngram_size=2,
)
GPT-2: टेक्स्ट जनरेशन इम्प्लीमेंटेशन II
output = model.generate(input_ids, max_length=40, temperature=0.7,
no_repeat_ngram_size=2,
pad_token_id=tokenizer.eos_token_id)
GPT-2: टेक्स्ट जनरेशन आउटपुट
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
Generated Text: Once upon a time, the world was a place of great beauty
and great danger. The world of the gods was the place where the great gods were
born, and where they were to live.
T5: लैंग्वेज ट्रांसलेशन इम्प्लीमेंटेशन
t5-small: Text-to-Text Transfer Transformer- लैंग्वेज ट्रांसलेशन टास्क के लिए प्रीट्रेंड मॉडल
import torch from transformers import T5Tokenizer, T5ForConditionalGenerationtokenizer = T5Tokenizer.from_pretrained("t5-small") model = T5ForConditionalGeneration.from_pretrained("t5-small")input_prompt = "translate English to French: 'Hello, how are you?'"input_ids = tokenizer.encode(input_prompt, return_tensors="pt")output = model.generate(input_ids, max_length=100)
T5: लैंग्वेज ट्रांसलेशन आउटपुट
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)print("Generated text:",generated_text)
Generated text:
"Bonjour, comment êtes-vous?"
सही प्री-ट्रेंड मॉडल चुनना
- बहुत से विकल्प हैं!
- GPT-2: टेक्स्ट जनरेशन
- DistilGPT-2 (GPT-2 का छोटा वर्ज़न): टेक्स्ट जनरेशन
- BERT: टेक्स्ट क्लासिफिकेशन, प्रश्नोत्तर
- T5 (t5-small, T5 का छोटा वर्ज़न): लैंग्वेज ट्रांसलेशन, समरीकरण
- इन्हें HuggingFace और अन्य रिपॉज़िटरीज़ में पाएँ
अभ्यास करते हैं!
PyTorch के साथ टेक्स्ट के लिए डीप लर्निंग
