Tổng hợp lại
Phân tích cảm xúc với Python
Violeta Misheva
Data Scientist
Bài toán phân tích cảm xúc
Phân tích cảm xúc: hiểu quan điểm của tác giả về một chủ đề
- Đánh giá phim
- Đánh giá sản phẩm Amazon
- Cảm xúc về hãng hàng không trên Twitter
- Nhiều ví dụ văn học giàu cảm xúc
Khám phá dữ liệu đánh giá
- Thông tin cơ bản về độ dài đánh giá
- Đám mây từ
- Đặc trưng độ dài: số từ, số câu
- Đặc trưng phát hiện ngôn ngữ của đánh giá
Biến đổi số cho cột mang cảm xúc
- Bag-of-words
- Vector hóa TfIdf
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Cú pháp vectorizer
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Tham số của vectorizer
- stop words: từ thường gặp, ít thông tin
- n-gram range: dùng cụm từ, không chỉ từ đơn
- kiểm soát kích thước từ vựng: max_features, max_df, min_df
- bắt mẫu token: loại chữ số hoặc ký tự nhất định
Quan trọng nhưng KHÔNG phải tham số của vectorizer
- lemmas và stems
Mô hình học có giám sát
- Phân loại logistic để dự đoán cảm xúc
- Đánh giá bằng accuracy và ma trận nhầm lẫn
- Tầm quan trọng của chia train/test
Ayo berlatih!
Phân tích cảm xúc với Python
