自然言語処理（NLP）

機械学習を理解する

Sara Billen

Curriculum Manager at DataCamp

自然言語処理（NLP）

コンピューターが人間の言語（自然言語）の意味を理解する能力

Bag of Words

Bag of Words

"U2 is a great band"

単語	数量
U2	1
Queen	0
is	1
a	1
great	1
band	1

"Queen is a great band"

単語	数量
U2	0
Queen	1
is	1
a	1
great	1
band	1

Bag-of-Words：n-gram

"That book is not great"

単語	数量
That	1
book	1
is	1
not	1
great	1

2-gram（バイグラム）

単語	数量
That book	1
book is	1
is not	1
not great	1

Bag-of-Wordsの限界

• 単語の出現回数だけでは、類義語を考慮できない
• 例: "blue" （青）
  • "sky-blue"（空色）
  • "aqua"（アクア、水色）
  • "cerulean"（セルリアンブルー）
• これらを1つの特徴量としてまとめたい

単語埋め込み

Word embeddings（単語埋め込み）

• 意味の近い単語をまとめられる特徴量を作成する
• 特徴量として数学的な関係を表せる：

$$

king - man + woman = queen

言語翻訳

アプリケーション

• 言語翻訳
• チャットボット
• パーソナルアシスタント
• 感情分析
• ...

ディープラーニング

• 代表的な2種類の問題
  • コンピュータービジョン
  • 自然言語処理
• なぜディープラーニングを使うのか？
  • 複雑な問題に対応できる
  • 特徴量を自動で抽出できる
  • 大量のデータを活用できる

練習しましょう！

機械学習を理解する