Зникання та вибухання градієнтів

Recurrent Neural Networks (RNNs) для моделювання мови з Keras

David Cecchini

Data Scientist

Навчання моделей RNN

Розгорнута RNN: пряма передача від одного слова до наступного до кінця речення і зворотне поширення з оновленням ваг у часі

Показано фазу прямого проходу з математичними визначеннями змінних

Приклад: $$a_2 = f(W_a, a_1, x_2)$$

$$= f(W_a, f(W_a, a_0, x_1), x_2)$$

Показано фазу зворотного поширення з математичними визначеннями

Пам'ятайте, що:

$$ a_T = f(W_a, a_{T-1}, x_T) $$

$a_T$ також залежить від $a_{T-1}$, який залежить від $a_{T-2}$ та $W_a$, і так далі!

Обчислення похідних дає

$$ \frac{\partial a_t}{\partial W_a} = (W_a)^{t-1}g(X) $$

Відомі деякі розв'язання:

Exploding gradients

Vanishing gradients

Recurrent Neural Networks (RNNs) для моделювання мови з Keras