Комірки GRU та LSTM

Recurrent Neural Networks (RNNs) для моделювання мови з Keras

David Cecchini

Data Scientist

Збільшена комірка SimpleRNN: вхід — стан пам'яті з попередньої комірки та поточне слово; вихід — новий стан пам'яті та передбачення

Збільшена комірка GRU: додано «update gate» та початкового кандидата стану пам'яті

Збільшена комірка LSTM: додано «forget gate», «output gate», «update gate» та кандидата стану пам'яті

Більш не зникають градієнти

Комірка simpleRNN має проблеми з градієнтами.
- Степінь матриці ваг t множить інші доданки
Комірки GRU і LSTM не мають проблем зі зникаючим градієнтом
- Завдяки своїм «вратам»
- Немає множення решти доданків матрицями ваг
- Проблеми вибухаючих градієнтів легше вирішити

Використання в keras

# Import the layers
from tensorflow import keras
from tensorflow.keras.layers import GRU, LSTM

# Add the layers to a model
model.add(GRU(units=128, return_sequences=True, name='GRU layer'))
model.add(LSTM(units=64, return_sequences=False, name='LSTM layer'))

Давайте потренуємось!

Recurrent Neural Networks (RNNs) для моделювання мови з Keras