Các lớp Dense và TimeDistributed

Machine Translation với Keras

Thushan Ganegedara

Data Scientist and Author

Giới thiệu lớp Dense

Nhận một vector đầu vào và chuyển thành dự đoán xác suất.
- y = Weights.x + Bias

Trọng số và độ lệch

Tìm hiểu lớp Dense

Định nghĩa và dùng lớp Dense

dense = Dense(3, activation='softmax')

inp = Input(shape=(3,))
pred = dense(inp)
model = Model(inputs=inp, outputs=pred)

Định nghĩa Dense với khởi tạo tùy chỉnh

from tensorflow.keras.initializers import RandomNormal
init = RandomNormal(mean=0.0, stddev=0.05, seed=6000)
dense = Dense(3, activation='softmax', 
             kernel_initializer=init, bias_initializer=init)

Đầu vào và đầu ra của lớp Dense

Lớp softmax Dense
- Nhận mảng (batch size, input size)
  - ví dụ: x = [[1, 6, 8], [8, 9, 10]] # mảng 2x3
- Trả về mảng (batch size, num classes)
  - ví dụ: Số lớp = 4
  - ví dụ: y = [[0.1, 0.3, 0.4, 0.2], [0.2, 0.5, 0.1, 0.2]] # mảng 2x4
- Đầu ra mỗi mẫu là phân phối xác suất trên các lớp
  - Tổng theo cột bằng 1
- Lấy lớp cho mỗi mẫu bằng np.argmax(y, axis=-1)
  - ví dụ: np.argmax(y,axis=-1) cho [2,1]

Tìm hiểu lớp TimeDistributed

Cho phép các lớp Dense xử lý dữ liệu chuỗi thời gian

dense_time = TimeDistributed(Dense(3, activation='softmax'))

inp = Input(shape=(2, 3))
pred = dense_time(inp)
model = Model(inputs=inp, outputs=pred)

Đầu vào và đầu ra của lớp TimeDistributed

Nhận mảng (batch size, sequence length, input size)

x = [[[1, 6], [8, 2], [1, 2]], 
    [[8, 9], [10, 8], [1, 0]]] # a 2x3x2 array

Trả về mảng (batch size, sequence length, num classes)
- ví dụ: Số lớp = 3

y = [[[0.1, 0.5, 0.4], [0.8, 0.1, 0.1], [0.6, 0.2, 0.2]], 
     [[0.2, 0.5, 0.3], [0.2, 0.5, 0.3], [0.2, 0.8, 0.0]]] # a 2x3x3 array

Đầu ra mỗi mẫu là phân phối xác suất trên các lớp
Lấy lớp cho mỗi mẫu bằng np.argmax(y, axis=-1)

Cắt lát dữ liệu theo trục thời gian

y = [[[0.1, 0.5, 0.4], [0.8, 0.1, 0.1], [0.6, 0.2, 0.2]], 
     [[0.2, 0.5, 0.3], [0.2, 0.5, 0.3], [0.2, 0.8, 0.0]]] # a 2x3x3 array
classes = np.argmax(y, axis=-1) # a 2 x 3 array

Lặp qua dữ liệu phân phối theo thời gian

for t in range(3):
  # Get the t-th time-dimension slice of y and classes
  for prob, c in zip(y[:,t,:], classes[:,t]):
     print("Prob: ", prob, ", Class: ", c)

Prob:  [0.1 0.5 0.4] , Class:  1
Prob:  [0.2 0.5 0.3] , Class:  1
Prob:  [0.8 0.1 0.1] , Class:  0
...

Ayo berlatih!

Machine Translation với Keras