GRU और LSTM सेल

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)

David Cecchini

Data Scientist

SimpleRNN मेमोरी सेल का क्लोज़-अप, जिसमें पिछले सेल से आई मेमोरी स्टेट इनपुट और अगले शब्द का इनपुट दिख रहा है। सेल नया मेमोरी स्टेट और प्रेडिक्शन आउटपुट करता है

GRU सेल का क्लोज़-अप, जिसमें जोड़े गए स्ट्रक्चर "update gate" और मेमोरी सेल के प्रारंभिक उम्मीदवार दिख रहे हैं

LSTM सेल का क्लोज़-अप, जिसमें जोड़े गए forget gate, output gate, update gate और मेमोरी सेल के उम्मीदवार दिख रहे हैं

अब vanishing gradients नहीं

simpleRNN सेल में ग्रेडिएंट से जुड़ी समस्याएँ हो सकती हैं.
- वेट मैट्रिक्स की power t बाकी टर्म्स को गुणा करती है
GRU और LSTM सेल में vanishing gradient की समस्या नहीं होती.
- उनके गेट्स की वजह से
- वेट मैट्रिसेज़ बाकी टर्म्स को गुणा नहीं करतीं
- Exploding gradient समस्याएँ संभालना आसान होता है

keras में उपयोग

# Import the layers
from tensorflow import keras
from tensorflow.keras.layers import GRU, LSTM

# Add the layers to a model
model.add(GRU(units=128, return_sequences=True, name='GRU layer'))
model.add(LSTM(units=64, return_sequences=False, name='LSTM layer'))

अभ्यास करते हैं!

Keras के साथ भाषा मॉडलिंग के लिए Recurrent Neural Networks (RNNs)