まとめと最終対決

Kerasで学ぶMachine Translation

Thushan Ganegedara

Data Scientist and Author

ここまでの成果

• 第1章
  • エンコーダ・デコーダ方式の導入
  • GRUレイヤーの理解
• 第2章
  • エンコーダの実装
  • デコーダの実装
  • デコーダ予測レイヤーの実装

ここまでの成果

• 第3章
  • データの前処理
  • 機械翻訳モデルの学習
  • 翻訳の生成
• 第4章
  • ティーチャーフォーシングの導入
  • ティーチャーフォーシングでの学習
  • 翻訳の生成
  • 単語埋め込みの活用

機械翻訳モデル

• モデル1
  • エンコーダは英語の単語（ワンホット）を受け取り、コンテキストベクトルを出力
  • デコーダはそのコンテキストベクトルから翻訳を出力
• モデル2
  • エンコーダは英語の単語（ワンホット）を受け取り、コンテキストベクトルを出力
  • デコーダは翻訳のある単語（ワンホット）を受け取り、次の単語を予測
• モデル3
  • ワンホットの代わりに単語ベクトルを使用
  • 単語ベクトルは語の意味関係を捉える

各モデルの性能

最新動向と参考文献

• 機械翻訳モデルの評価
  • BLEUスコア（Papineni et al., BLEU: a Method for Automatic Evaluation of Machine Translation.)
• サブワード（WordPiece）モデル
  • 未知語を回避可能（Sennrich et al., Neural Machine Translation of Rare Words with Subword Units.)
• Transformerモデル（Vaswani et al., Attention Is All You Need）
  • 多くのNLPタスクで最先端性能、機械翻訳を含む
  • エンコーダ・デコーダ構成だが逐次モデルは不使用
  • 最新のGoogle翻訳はTransformerモデル

ご健闘をお祈りします！

Kerasで学ぶMachine Translation