總結與最終對決

使用 Keras 進行機器翻譯

Thushan Ganegedara

Data Scientist and Author

到目前為止你完成了什麼

• 第 1 章
  • 編碼器—解碼器架構導論
  • 認識 GRU 層
• 第 2 章
  • 實作編碼器
  • 實作解碼器
  • 實作解碼器預測層

到目前為止你完成了什麼

• 第 3 章
  • 前處理資料
  • 訓練機器翻譯模型
  • 產生翻譯
• 第 4 章
  • Teacher forcing 導論
  • 以 teacher forcing 訓練模型
  • 產生翻譯
  • 使用詞向量做機器翻譯

機器翻譯模型

• 模型 1
  • 編碼器讀入英文單字（onehot 編碼），輸出情境向量
  • 解碼器讀入情境向量並輸出翻譯
• 模型 2
  • 編碼器讀入英文單字（onehot 編碼），輸出情境向量
  • 解碼器讀入翻譯中的指定單字（onehot 編碼），預測下一個單字
• 模型 3
  • 不用 onehot，改用詞向量
  • 詞向量能捕捉單字間的語意關係

不同模型的效能

最新進展與延伸閱讀

• 評估機器翻譯模型
  • BLEU 分數（Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.）
• Word piece 模型
  • 讓模型避免超出字彙表的單字（Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.）
• Transformer 模型（Vaswani et al., Attention Is All You Need）
  • 在多項 NLP 任務（含機器翻譯）達到 SOTA 表現
  • 採編碼器—解碼器架構，但不使用序列模型
  • 最新的 Google 翻譯器使用 Transformer 模型

祝一切順利！

使用 Keras 進行機器翻譯