Bắt mẫu token

Phân tích cảm xúc với Python

Violeta Misheva

Data Scientist

Toán tử chuỗi và so sánh

# Kiểm tra chuỗi chỉ gồm chữ cái  
my_string.isalpha()

# Kiểm tra chuỗi chỉ gồm chữ số 
my_string.isdigit()

# Kiểm tra chuỗi chỉ gồm ký tự chữ và số
my_string.isalnum()

# Tách token theo từ (mặc định)
word_tokens = [word_tokenize(review) for review in reviews.review]

# Chỉ giữ token là chữ cái
cleaned_tokens = [[word for word in item if word.isalpha()] for item in word_tokens]

len(word_tokens[0])

len(cleaned_tokens[0])

import re

my_string = '#Wonderfulday'
# Trích xuất #, theo sau là bất kỳ chữ cái (thường hoặc hoa)
x = re.search('#[A-Za-z]', my_string)

x
<re.Match object; span=(0, 2), match='#W'>

# Mẫu token mặc định trong CountVectorizer
'\b\w\w+\b'

# Chỉ định mẫu token cụ thể
CountVectorizer(token_pattern=r'\b[^\d\W][^\d\W]+\b')

Phân tích cảm xúc với Python