Ô nhớ GRU và LSTM

Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras

David Cecchini

Data Scientist

Phóng to ô nhớ SimpleRNN, cho thấy trạng thái nhớ đầu vào từ ô trước và đầu vào của từ kế tiếp. Ô xuất ra trạng thái nhớ mới và dự đoán

Phóng to ô GRU, cho thấy các cấu trúc bổ sung: cổng cập nhật và ứng viên trạng thái nhớ ban đầu

Phóng to ô LSTM, cho thấy cổng quên, cổng đầu ra, cổng cập nhật và ứng viên trạng thái nhớ

Hết tiêu biến gradient

Ô simpleRNN có thể gặp vấn đề gradient.
- Lũy thừa t của ma trận trọng số nhân các hạng khác
Ô GRU và LSTM không bị tiêu biến gradient
- Nhờ các cổng của chúng
- Không có các hạng ma trận trọng số nhân phần còn lại
- Vấn đề bùng nổ gradient dễ xử lý hơn

Dùng trong keras

# Import the layers
from tensorflow import keras
from tensorflow.keras.layers import GRU, LSTM

# Add the layers to a model
model.add(GRU(units=128, return_sequences=True, name='GRU layer'))
model.add(LSTM(units=64, return_sequences=False, name='LSTM layer'))

Hãy luyện tập!

Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras