トークンパターンの抽出

Pythonで学ぶSentiment Analysis

Violeta Misheva

Data Scientist

文字列演算子と比較

# 文字のみで構成されているかを確認  
my_string.isalpha()

# 数字のみで構成されているかを確認 
my_string.isdigit()

# 英数字のみで構成されているかを確認
my_string.isalnum()

# 単語の基本的なトークン化
word_tokens = [word_tokenize(review) for review in reviews.review]

# 文字のみのトークンを保持
cleaned_tokens = [[word for word in item if word.isalpha()] for item in word_tokens]

len(word_tokens[0])

len(cleaned_tokens[0])

import re

my_string = '#Wonderfulday'
# # に続く任意の英字（小文字・大文字）を抽出
x = re.search('#[A-Za-z]', my_string)

x
<re.Match object; span=(0, 2), match='#W'>

# CountVectorizer の既定のトークンパターン
'\b\w\w+\b'

# 特定のトークンパターンを指定
CountVectorizer(token_pattern=r'\b[^\d\W][^\d\W]+\b')

Pythonで学ぶSentiment Analysis