Chúng ta thật sự dự đoán cảm xúc tốt chứ?

Phân tích cảm xúc với Python

Violeta Misheva

Data Scientist

Chia train/test

tổng số quan sát được chia thành bộ huấn luyện và bộ kiểm tra, trong đó bộ huấn luyện là khối lớn hơn

  • Training set: dùng để huấn luyện mô hình (70–80% dữ liệu)
  • Testing set: dùng để đánh giá hiệu năng mô hình
Phân tích cảm xúc với Python

Train/test trong Python

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123, stratify=y)
  • X: đặc trưng
  • y: nhãn
  • test_size: tỷ lệ dữ liệu dùng để kiểm tra
  • random_state: hạt giống tạo ngẫu nhiên cho việc chia
  • stratify: giữ tỷ lệ lớp trong mẫu giống với tham số này
Phân tích cảm xúc với Python

Hồi quy logistic với chia train/test

log_reg = LogisticRegression().fit(X_train, y_train)

print('Accuracy on training data: ', log_reg.score(X_train, y_train))

0.76

print('Accuracy on testing data: ', log_reg.score(X_test, y_test))

0.73
Phân tích cảm xúc với Python

Độ chính xác với chia train/test

from sklearn.metrics import accuracy_score

log_reg = LogisticRegression().fit(X_train, y_train)

y_predicted = log_reg.predict(X_test)
print('Accuracy score on test data: ', accuracy_score(y_test, y_predicted))

0.73
Phân tích cảm xúc với Python

Ma trận nhầm lẫn

ví dụ ma trận nhầm lẫn cho bài toán phân loại nhị phân

Phân tích cảm xúc với Python

Ma trận nhầm lẫn trong Python

from sklearn.metrics import confusion_matrix

log_reg = LogisticRegression().fit(X_train, y_train)
y_predicted = log_reg.predict(X_test)

print(confusion_matrix(y_test, y_predicted)/len(y_test))

[[0.3788 0.1224]
 [0.1352 0.3636]]
Phân tích cảm xúc với Python

Ayo berlatih!

Phân tích cảm xúc với Python

Preparing Video For Download...