GRU ve LSTM hücreleri

Keras ile Dil Modellemesi için Yinelenen Sinir Ağları (RNN)

David Cecchini

Data Scientist

Bir SimpleRNN bellek hücresine yakın çekim: önceki hücreden gelen bellek durumu girişi ve sonraki kelimenin girişi. Hücre yeni bellek durumunu ve tahmini üretir

GRU hücresine yakın çekim: eklenen güncelleme kapısı ve bellek hücresi için aday gösterilir

LSTM hücresine yakın çekim: unutma kapısı, çıktı kapısı, güncelleme kapısı ve bellek hücresi adayı eklenmiştir

Artık gradyan sönmesi yok

simpleRNN hücresi gradyan sorunları yaşayabilir.
- Ağırlık matrisinin t'inci kuvveti diğer terimleri çarpar
GRU ve LSTM hücrelerinde gradyan sönmesi olmaz
- Kapıları sayesinde
- Ağırlık matrisi terimleri geri kalanla çarpılmaz
- Patlayan gradyanlar daha kolay çözülebilir

Keras'ta kullanım

# Import the layers
from tensorflow import keras
from tensorflow.keras.layers import GRU, LSTM

# Add the layers to a model
model.add(GRU(units=128, return_sequences=True, name='GRU layer'))
model.add(LSTM(units=64, return_sequences=False, name='LSTM layer'))

Haydi pratik yapalım!

Keras ile Dil Modellemesi için Yinelenen Sinir Ağları (RNN)