Tổng kết và thử thách cuối

Machine Translation với Keras

Thushan Ganegedara

Data Scientist and Author

Bạn đã làm gì đến giờ

• Chương 1
  • Giới thiệu kiến trúc encoder–decoder
  • Tìm hiểu lớp GRU
• Chương 2
  • Cài đặt encoder
  • Cài đặt decoder
  • Cài đặt lớp dự đoán của decoder

Bạn đã làm gì đến giờ

• Chương 3
  • Tiền xử lý dữ liệu
  • Huấn luyện mô hình dịch máy
  • Sinh bản dịch
• Chương 4
  • Giới thiệu teacher forcing
  • Huấn luyện với teacher forcing
  • Sinh bản dịch
  • Dùng word embeddings cho dịch máy

Các mô hình dịch máy

• Mô hình 1
  • Encoder nhận từ tiếng Anh (onehot) và xuất vector ngữ cảnh
  • Decoder nhận vector ngữ cảnh và xuất bản dịch
• Mô hình 2
  • Encoder nhận từ tiếng Anh (onehot) và xuất vector ngữ cảnh
  • Decoder nhận một từ cho trước (onehot) của bản dịch và dự đoán từ tiếp theo
• Mô hình 3
  • Thay onehot bằng vector từ
  • Vector từ nắm bắt quan hệ ngữ nghĩa giữa các từ

Hiệu năng các mô hình

Phát triển mới và tài liệu tham khảo

• Đánh giá mô hình dịch máy
  • BLEU score (Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• Mô hình word piece
  • Giúp tránh từ ngoài từ vựng (Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• Transformer (Vaswani et al., Attention Is All You Need)
  • Hiệu năng hàng đầu cho nhiều tác vụ NLP, gồm dịch máy
  • Kiến trúc encoder–decoder, không dùng mô hình tuần tự
  • Trình dịch của Google mới nhất là Transformer

Chúc bạn thành công!

Machine Translation với Keras