ストップワード

Pythonで学ぶSentiment Analysis

Violeta Misheva

Data Scientist

ストップワードとは？ どう見つける？

ストップワード：頻出し情報量が低い語

  • 多くの言語でストップワードのリストあり

      {'the', 'a', 'an', 'and', 'but', 'for', 'on', 'in', 'at' ...}

  • 文脈によって変わる

      {'movie', 'movies', 'film', 'films', 'cinema'}
Pythonで学ぶSentiment Analysis

ワードクラウドでのストップワード

  • ストップワード未除去のワードクラウド ストップワード未除去のワードクラウド
  • ストップワード除去後のワードクラウド ストップワード除去後のワードクラウド
Pythonで学ぶSentiment Analysis

ワードクラウドからストップワードを除去

# Import libraries
from wordcloud import WordCloud, STOPWORDS
import matplotlib.pyplot as plt

# Define the stopwords list
my_stopwords = set(STOPWORDS)
my_stopwords.update(["movie", "movies", "film", "films", "watch", "br"])

# Generate and show the word cloud
my_cloud = WordCloud(background_color='white', stopwords=my_stopwords).generate(name_string)
plt.imshow(my_cloud, interpolation='bilinear')
Pythonで学ぶSentiment Analysis

BOWでのストップワード

from sklearn.feature_extraction.text import CountVectorizer, ENGLISH_STOP_WORDS

# Define the set of stop words
my_stop_words = ENGLISH_STOP_WORDS.union(['film', 'movie', 'cinema', 'theatre'])

vect = CountVectorizer(stop_words=my_stop_words) 
vect.fit(movies.review)
X = vect.transform(movies.review)
Pythonで学ぶSentiment Analysis

練習しましょう！

Pythonで学ぶSentiment Analysis

Preparing Video For Download...