टेक्स्ट जेनरेशन मॉडल

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)

David Cecchini

Data Scientist

क्लासीफिकेशन मॉडल जैसा

टेक्स्ट जेनरेशन मॉडल:

vocabulary को classes की तरह उपयोग करता है
आखिरी लेयर vocabulary size यूनिट्स के साथ softmax लगाती है
loss फंक्शन के तौर पर categorical_crossentropy उपयोग करता है

keras के साथ उदाहरण मॉडल

model = Sequential()

model.add(LSTM(units, input_shape=(chars_window, n_vocab), 
               dropout=0.15, recurrent_dropout=0.15, return_sequences=True))

model.add(LSTM(units, dropout=dropout, recurrent_dropout=0.15, 
               return_sequences=False))

model.add(Dense(n_vocab, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam')

पर सच में क्लासीफिकेशन नहीं

क्लासीफिकेशन से फर्क:

loss निकालता है, पर performance metrics (accuracy) नहीं
- इंसान नतीजे देखते हैं और परफॉर्मेंस आँकते हैं।
- अच्छा न हो तो और epochs ट्रेन करें या मॉडल की complexity बढ़ाएँ (ज़्यादा memory cells, layers, आदि)।
टास्क के हिसाब से generation rules के साथ उपयोग होता है
- अगला char जनरेट करें
- एक word जनरेट करें
- एक sentence जनरेट करें
- एक paragraph जनरेट करें

अन्य एप्लिकेशन

नाम बनाना
- बेबी नेम्स
- नए स्टार नाम, आदि
मार्कअप टेक्स्ट जनरेट करें
- LaTeX
- Markdown
- XML, आदि
- प्रोग्रामिंग कोड
न्यूज़ आर्टिकल्स
चैटबॉट्स

डेटा प्रेप

टेक्स्ट जेनरेशन टास्क के लिए डेटा प्रेप की प्रक्रिया दिखाता है। टेक्स्ट को नंबर सीक्वेंस में बदलता है और ट्रेनिंग सेट को X और Y में बाँटता है: X में fixed-length सीक्वेंस, Y में अगला char.

अभ्यास करते हैं!

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)