Triển khai mô hình mã hóa–giải mã đầy đủ

Machine Translation với Keras

Thushan Ganegedara

Data Scientist and Author

Những gì bạn đã triển khai

  • Bộ mã hóa nhận đầu vào tiếng Anh (nguồn)
  • Bộ mã hóa tạo vector ngữ cảnh
  • Bộ giải mã nhận bộ vector ngữ cảnh lặp lại
  • Bộ giải mã xuất chuỗi đầu ra GRU

Mô hình mã hóa–giải mã với repeat vector

Machine Translation với Keras

Phần trên của bộ giải mã

  • Dùng các lớp TimeDistributed và Dense.

Mã hóa–giải mã với TimeDistributed

Machine Translation với Keras

Triển khai mô hình đầy đủ

  • Bộ mã hóa

    en_inputs = Input(shape=(en_len, en_vocab))
en_gru = GRU(hsize, return_state=True)
en_out, en_state = en_gru(en_inputs)

  • Bộ giải mã

    de_inputs = RepeatVector(fr_len)(en_state)
de_gru = GRU(hsize, return_sequences=True)
de_out = de_gru(de_inputs, initial_state=en_state)
Machine Translation với Keras

Triển khai mô hình đầy đủ

  • Lớp dự đoán softmax 
de_dense = keras.layers.Dense(fr_vocab, activation='softmax')
de_dense_time = keras.layers.TimeDistributed(de_dense)
de_pred = de_seq_dense(de_out)
Machine Translation với Keras

Biên dịch mô hình

Định nghĩa mô hình đầy đủ

nmt = keras.models.Model(inputs=en_inputs, outputs=de_pred)

Biên dịch mô hình

nmt.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['acc'])
Machine Translation với Keras

Hãy thực hành!

Machine Translation với Keras

Preparing Video For Download...