シーケンス間モデル

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

David Cecchini

Instructor

シーケンス間

想定アーキテクチャ:

  • 多入力・単一出力
    • 感情分析
    • 分類
  • 多入力・多出力
    • テキスト生成
    • ニューラル機械翻訳（NMT）
Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

テキスト生成: 例

テキスト生成: 例

# 事前学習モデル
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'
Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

テキスト生成: モデリング

テキスト生成モデルの作り方:

  • トークン単位を文字か語で決める
    • 語は巨大データ（数億文）が必要
    • 文字は学習が速いが誤字が出やすい
  • データ準備
    • （過去トークン, 次トークン）の学習サンプルを作成
  • モデル設計
    • 埋め込み層、層数など
  • 学習と試行
Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

NMT: 例

ニューラル機械翻訳: 例

# 事前学習モデル
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'
Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

NMT: モデリング

NMTモデルの作り方:

  • 対訳文を収集
    • 例: Ankiプロジェクト
  • データ準備
    • 入力言語の文をトークン化
    • 出力言語の文をトークン化
  • モデル設計
    • エンコーダとデコーダ
  • 学習と試行
Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

章の概要

この章で学ぶこと:

  • テキスト生成
    • 事前学習モデルで文を生成
    • データ準備とモデル構築を学習
  • ニューラル機械翻訳（NMT）
    • オールインワンのNMTモデル
Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Passons à la pratique !

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Preparing Video For Download...