Шари Dense та TimeDistributed

Machine Translation з Keras

Thushan Ganegedara

Data Scientist and Author

Вступ до шару Dense

Отримує вхідний вектор і перетворює його на ймовірнісне передбачення.
- y = Weights.x + Bias

Ваги та зсуви

Розуміння шару Dense

Визначення та використання шару Dense

dense = Dense(3, activation='softmax')

inp = Input(shape=(3,))
pred = dense(inp)
model = Model(inputs=inp, outputs=pred)

Визначення шару Dense з власною ініціалізацією

from tensorflow.keras.initializers import RandomNormal
init = RandomNormal(mean=0.0, stddev=0.05, seed=6000)
dense = Dense(3, activation='softmax', 
             kernel_initializer=init, bias_initializer=init)

Вхідні дані та виходи шару Dense

Шар Dense з softmax
- Приймає масив (batch size, input size)
  - напр., x = [[1, 6, 8], [8, 9, 10]] # масив 2x3
- Повертає масив (batch size, num classes)
  - напр., кількість класів = 4
  - напр., y = [[0.1, 0.3, 0.4, 0.2], [0.2, 0.5, 0.1, 0.2]] # масив 2x4
- Вихід для кожного зразка — це розподіл ймовірностей по класах
  - Суми вздовж стовпців дорівнюють 1
- Клас для кожного зразка: np.argmax(y, axis=-1)
  - напр., np.argmax(y,axis=-1) дає [2,1]

Розуміння шару TimeDistributed

Дозволяє шарам Dense обробляти часові послідовності

dense_time = TimeDistributed(Dense(3, activation='softmax'))

inp = Input(shape=(2, 3))
pred = dense_time(inp)
model = Model(inputs=inp, outputs=pred)

Вхідні дані та виходи шару TimeDistributed

Приймає масив (batch size, sequence length, input size)

x = [[[1, 6], [8, 2], [1, 2]], 
    [[8, 9], [10, 8], [1, 0]]] # масив 2x3x2

Повертає масив (batch size, sequence length, num classes)
- напр., кількість класів = 3

y = [[[0.1, 0.5, 0.4], [0.8, 0.1, 0.1], [0.6, 0.2, 0.2]], 
     [[0.2, 0.5, 0.3], [0.2, 0.5, 0.3], [0.2, 0.8, 0.0]]] # масив 2x3x3

Вихід для кожного зразка — це розподіл ймовірностей по класах
Клас для кожного зразка: np.argmax(y, axis=-1)

Зрізи даних за часовим виміром

y = [[[0.1, 0.5, 0.4], [0.8, 0.1, 0.1], [0.6, 0.2, 0.2]], 
     [[0.2, 0.5, 0.3], [0.2, 0.5, 0.3], [0.2, 0.8, 0.0]]] # a 2x3x3 array
classes = np.argmax(y, axis=-1) # a 2 x 3 array

Ітерація за часовими зрізами даних

for t in range(3):
  # Get the t-th time-dimension slice of y and classes
  for prob, c in zip(y[:,t,:], classes[:,t]):
     print("Prob: ", prob, ", Class: ", c)

Prob:  [0.1 0.5 0.4] , Class:  1
Prob:  [0.2 0.5 0.3] , Class:  1
Prob:  [0.8 0.1 0.1] , Class:  0
...

Давайте потренуємось!

Machine Translation з Keras