Sel GRU dan LSTM

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

David Cecchini

Data Scientist

Perbesar sel memori SimpleRNN, menampilkan state memori sebagai masukan dari sel sebelumnya dan masukan kata berikutnya. Sel menghasilkan state memori baru dan prediksi

Perbesar sel GRU, menampilkan struktur tambahan bernama update gate dan kandidat awal untuk sel memori

Perbesar sel LSTM, menampilkan forget gate, output gate, update gate, dan kandidat untuk sel memori

Tidak ada lagi vanishing gradient

Sel simpleRNN dapat mengalami masalah gradien.
- Pangkat t dari matriks bobot mengalikan suku lain
Sel GRU dan LSTM tidak mengalami masalah vanishing gradient
- Karena adanya gate
- Tidak ada suku matriks bobot yang mengalikan sisanya
- Masalah exploding gradient lebih mudah diatasi

Penggunaan di keras

# Import the layers
from tensorflow import keras
from tensorflow.keras.layers import GRU, LSTM

# Add the layers to a model
model.add(GRU(units=128, return_sequences=True, name='GRU layer'))
model.add(LSTM(units=64, return_sequences=False, name='LSTM layer'))

Ayo berlatih!

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras