コースの紹介

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

David Cecchini

Data Scientist

テキストデータはオンラインに豊富

ニュース記事や大手ネット企業など、オンラインのテキストデータ例を表示

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

テキストデータへの機械学習の応用

4つの応用:

  • 感情分析
  • 多クラス分類
  • テキスト生成
  • ニューラル機械翻訳
Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

感情分析

笑顔と不満顔の2つの絵文字を表示

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

多クラス分類

映画のジャンル（SF、ロマンス等）のクラス表現を表示

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

テキスト生成

会話アプリでの機械生成テキスト例。接続からの問い合わせに対し、アプリが返信候補を提案。

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

ニューラル機械翻訳

ポルトガル語「Vamos jogar futebol esse domingo?」を英語「Let's play soccer this Sunday?」に翻訳する例を表示

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

再帰型ニューラルネットワーク（RNN）

RNNモデルの展開図。各語間で重みが共有されることを示す。語を順に入力し、最後にクラスを予測する。

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Sequence to sequence モデル

多対一：分類

分類用RNNアーキテクチャ。予測は最後の語でのみ行う。

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Sequence to sequence モデル

多対多：テキスト生成

テキスト生成モデルのアーキテクチャ。入力部は最後の段でのみ予測し、生成部は各段で予測。最初の予測を次の入力として用いる。

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Sequence to sequence モデル

多対多：ニューラル機械翻訳

ニューラル機械翻訳のアーキテクチャ。入力言語のエンコーダと出力言語のデコーダに分かれる。エンコーダは入力の言語モデル、デコーダは出力の言語モデルを学習。エンコーダの最終状態がデコーダに渡され、他の入力はない。

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Sequence to sequence モデル

多対多：言語モデル

言語モデルのアーキテクチャ。各段で次の語を予測する。学習時に重みを調整し、系列の次語を当てるようにする。

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Passons à la pratique !

Kerasで学ぶ言語モデリングのためのRecurrent Neural Networks (RNNs)

Preparing Video For Download...