总结与最终挑战

使用 Keras 的机器翻译

Thushan Ganegedara

Data Scientist and Author

你已完成的内容

• 第1章
  • 编码器-解码器架构简介
  • 了解 GRU 层
• 第2章
  • 实现编码器
  • 实现解码器
  • 实现解码器预测层

你已完成的内容

• 第3章
  • 数据预处理
  • 训练机器翻译模型
  • 生成翻译
• 第4章
  • 教师强制简介
  • 用教师强制训练模型
  • 生成翻译
  • 在机器翻译中使用词向量

机器翻译模型

• 模型1
  • 编码器接收英文词（onehot 编码）并输出上下文向量
  • 解码器接收上下文向量并输出译文
• 模型2
  • 编码器接收英文词（onehot 编码）并输出上下文向量
  • 解码器接收译文中的给定词（onehot 编码），预测下一个词
• 模型3
  • 使用词向量替代 onehot 编码
  • 词向量捕捉词语间的语义关系

不同模型的性能

最新进展与延伸阅读

• 评估机器翻译模型
  • BLEU 分数（Papineni 等，BLEU: a Method for Automatic Evaluation of Machine Translation.）
• 子词/词片模型
  • 使模型避免词表外问题（Sennrich 等，Neural Machine Translation of Rare Words with Subword Units.）
• Transformer 模型（Vaswani 等，Attention Is All You Need）
  • 在包括机器翻译在内的多项 NLP 任务上达到最先进性能
  • 采用编码器-解码器架构，但不使用序列模型
  • 最新的 Google 翻译器采用 Transformer 模型

祝一切顺利！

使用 Keras 的机器翻译