追加のNLP分析

Rで学ぶ自然言語処理入門

Kasey Jones

Research Data Scientist

BERT と ERNIE

概要:

  • BERT: Bidirectional Encoder Representations from Transformers
  • NLPの転移学習で用いるモデル
  • ラベルなしデータで事前学習し、言語表現を獲得
  • 特定タスクの学習には少量のラベル付きデータで可

用途:

  • 教師ありタスク
  • NLPモデルの特徴量作成

ERNIE: Enhanced Representation through kNowledge IntEgration

Rで学ぶ自然言語処理入門

固有表現認識（NER）

概要:

  • テキスト中の固有表現を分類
  • 例: 人名、地名、組織名、数値など

用途:

  • ツイートからのエンティティ抽出
  • レコメンドエンジンの補助
  • 検索アルゴリズム
Rで学ぶ自然言語処理入門

品詞タグ付け（Part-of-speech tagging）

概要:

  • 語の品詞タグ付け
    • 名詞、動詞、形容詞など

用途:

  • 感情分析の補助
  • NLPモデルの特徴量作成
  • 各語に関するモデルの知識を強化

Feature Engineering for NLP in Python

Rで学ぶ自然言語処理入門

復習しましょう。

Rで学ぶ自然言語処理入門

Preparing Video For Download...