Tạo đặc trưng mới từ văn bản

Phân tích cảm xúc với Python

Violeta Misheva

Data Scientist

Mục tiêu video

 

Mục tiêu: Làm giàu dữ liệu hiện có bằng các đặc trưng từ cột văn bản (nắm bắt cảm xúc)

Phân tích cảm xúc với Python

Dữ liệu đánh giá sản phẩm

reviews.head()

5 hàng đầu của đánh giá sản phẩm Amazon

Phân tích cảm xúc với Python

Đặc trưng từ cột đánh giá

 

  • Mỗi đánh giá dài bao nhiêu?
  • Có bao nhiêu câu?
  • Có những loại từ nào?
  • Bao nhiêu dấu câu?
Phân tích cảm xúc với Python

Tách token một chuỗi

from nltk import word_tokenize

anna_k = 'Happy families are all alike, every unhappy family is unhappy in its own way.'

word_tokenize(anna_k)

['Happy','families','are', 'all','alike',',',
 'every','unhappy', 'family', 'is','unhappy','in',
 'its','own','way','.']
Phân tích cảm xúc với Python

Token từ một cột

# General form of list comprehension
[expression for item in iterable]

word_tokens = [word_tokenize(review) for review in reviews.review]
type(word_tokens)

list

type(word_tokens[0])

list
Phân tích cảm xúc với Python

Token từ một cột

len_tokens = []

# Iterate over the word_tokens list
for i in range(len(word_tokens)):
     len_tokens.append(len(word_tokens[i]))


# Create a new feature for the length of each review
reviews['n_tokens'] = len_tokens
Phân tích cảm xúc với Python

Xử lý dấu câu

  • Ta chưa xử lý, bạn có thể loại trừ
  • Một đặc trưng đếm số dấu câu
    • Nhiều dấu câu có thể báo hiệu cảm xúc mạnh
Phân tích cảm xúc với Python

Đánh giá với đặc trưng độ dài

reviews.head()

5 hàng đầu của đánh giá sản phẩm Amazon, gồm cột độ dài bài đánh giá

Phân tích cảm xúc với Python

Ayo berlatih!

Phân tích cảm xúc với Python

Preparing Video For Download...