Celule GRU și LSTM

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

David Cecchini

Data Scientist

Detaliu al celulei SimpleRNN, cu starea de memorie primită de la celula anterioară și cuvântul de intrare. Celula generează noua stare de memorie și predicția

Detaliu al celulei GRU, cu structurile adăugate: poarta de actualizare și candidatul inițial pentru celula de memorie

Detaliu al celulei LSTM, cu poarta de uitare, poarta de ieșire, poarta de actualizare și candidatul pentru celula de memorie

Fără gradienți descrescători

Celula simpleRNN poate avea probleme cu gradientul.
- Matricea de ponderi la puterea t înmulțește ceilalți termeni
Celulele GRU și LSTM nu au probleme cu gradientul descrescător
- Datorită porților lor
- Nu conțin termeni ai matricelor de ponderi care înmulțesc restul
- Problemele cu gradientul exploziv sunt mai ușor de rezolvat

Utilizare în Keras

# Import the layers
from tensorflow import keras
from tensorflow.keras.layers import GRU, LSTM

# Add the layers to a model
model.add(GRU(units=128, return_sequences=True, name='GRU layer'))
model.add(LSTM(units=64, return_sequences=False, name='LSTM layer'))

Să exersăm!

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras