Tworzenie nowych cech z tekstu

Analiza sentymentu w Pythonie

Violeta Misheva

Data Scientist

Cel lekcji

Cel: Wzbogacenie istniejącego zbioru danych o cechy związane z kolumną tekstową (odzwierciedlające sentyment)

reviews.head()

5 pierwszych wierszy recenzji produktów Amazon

from nltk import word_tokenize

anna_k = 'Happy families are all alike, every unhappy family is unhappy in its own way.'

word_tokenize(anna_k)

['Happy','families','are', 'all','alike',',',
 'every','unhappy', 'family', 'is','unhappy','in',
 'its','own','way','.']

# General form of list comprehension
[expression for item in iterable]

word_tokens = [word_tokenize(review) for review in reviews.review]
type(word_tokens)

list

type(word_tokens[0])

list

len_tokens = []

# Iterate over the word_tokens list
for i in range(len(word_tokens)):
     len_tokens.append(len(word_tokens[i]))

# Create a new feature for the length of each review
reviews['n_tokens'] = len_tokens

Nie omówiliśmy tego, ale można to wykluczyć
Cecha mierząca liczbę znaków interpunkcyjnych
- Wiele znaków interpunkcyjnych może wskazywać na emocjonalną opinię

reviews.head()

5 pierwszych wierszy recenzji produktów Amazon z dodaną kolumną długości recenzji

Analiza sentymentu w Pythonie