総まとめ

Pythonで学ぶSentiment Analysis

Violeta Misheva

Data Scientist

感情分析の課題

感情分析：ある主題に対する筆者の意見を把握するプロセス

  • 映画レビュー
  • Amazon商品のレビュー
  • Twitterの航空会社に関する感情
  • 感情的表現の多い文学の例
Pythonで学ぶSentiment Analysis

レビューの探索

  • レビューの基本統計（サイズ）
  • ワードクラウド
  • レビュー長の特徴量：語数、文数
  • レビュー言語の判定特徴量
Pythonで学ぶSentiment Analysis

感情を含む列の数値化変換

  • Bag-of-words
  • TfIdf ベクトル化
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer

# ベクトライザの書式
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Pythonで学ぶSentiment Analysis

ベクトライザの主な引数

  • ストップワード：情報量が低く頻出の語
  • n-gram 範囲：単語だけでなくフレーズも使用
  • 語彙サイズの制御：max_features、max_df、min_df
  • トークンパターンの制御：数字や特定文字の除去

重要だがベクトライザの引数ではない事項

  • レンマ化やステミング
Pythonで学ぶSentiment Analysis

教師あり学習モデル

  • 感情を予測するロジスティック回帰分類器
  • 評価指標：正解率と混同行列
  • 学習/テスト分割の重要性
Pythonで学ぶSentiment Analysis

演習に進みましょう！

Pythonで学ぶSentiment Analysis

Preparing Video For Download...