Sequence to Sequence Models

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)

David Cecchini

Instructor

Sequence to sequence

संभावित आर्किटेक्चर:

टेक्स्ट जनरेशन: उदाहरण

# Pre-trained model
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

टेक्स्ट जनरेशन मॉडल कैसे बनाएं:

तय करें कि टोकन कैरेक्टर होंगे या वर्ड्स
- वर्ड्स के लिए बहुत बड़े डेटासेट चाहिए (सैकड़ों मिलियन वाक्य)
- कैरेक्टर्स तेज़ी से ट्रेन होते हैं, पर टाइपो आ सकते हैं
डेटा तैयार करें
- (past tokens, next token) वाले ट्रेनिंग सैंपल बनाएं
मॉडल आर्किटेक्चर डिज़ाइन करें
- एम्बेडिंग लेयर, लेयर्स की संख्या, आदि
ट्रेन करें और प्रयोग करें

Neural Machine Translation: उदाहरण

# Pre-trained model
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

NMT मॉडल कैसे बनाएं:

अनुवादित वाक्यों का सैंपल लें
- उदाहरण के लिए, Anki project
डेटा तैयार करें
- इनपुट भाषा के वाक्य टोकनाइज़ करें
- आउटपुट भाषा के वाक्य टोकनाइज़ करें
मॉडल आर्किटेक्चर डिज़ाइन करें
- एन्कोडर और डिकोडर
ट्रेन करें और प्रयोग करें

इस चैप्टर में:

टेक्स्ट जनरेशन
- प्री-ट्रेंड मॉडल से एक वाक्य जनरेट करें
- डेटा तैयार करना और मॉडल बनाना सीखें
Neural Machine Translation (NMT)
- ऑल-इन-वन NMT मॉडल

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)