Đánh giá hiệu suất mô hình

Phân tích Marketing: Dự đoán Khách hàng Rời bỏ bằng Python

Mark Peterson

Director of Data Science, Infoblox

Độ chính xác (Accuracy)

  • Một metric có thể dùng: Độ chính xác (Accuracy)
    • Số dự đoán đúng / Tổng số điểm dữ liệu
  • Dùng dữ liệu nào?
    • Dữ liệu huấn luyện không đại diện cho dữ liệu mới
Phân tích Marketing: Dự đoán Khách hàng Rời bỏ bằng Python

Tập huấn luyện và tập kiểm tra

  • Huấn luyện bộ phân loại trên tập huấn luyện
  • Dự đoán trên tập kiểm tra
Phân tích Marketing: Dự đoán Khách hàng Rời bỏ bằng Python

Tập huấn luyện/kiểm tra với scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Phân tích Marketing: Dự đoán Khách hàng Rời bỏ bằng Python

Tính độ chính xác

svc.score(X_test, y_test)

0.857
  • Độ chính xác 85,7%: Khá tốt cho lần thử đầu!
Phân tích Marketing: Dự đoán Khách hàng Rời bỏ bằng Python

Cải thiện mô hình

  • Overfitting: Mô hình khớp quá sát dữ liệu huấn luyện
  • Underfitting: Không nắm bắt xu hướng trong dữ liệu huấn luyện
  • Cần cân bằng giữa overfitting và underfitting
Phân tích Marketing: Dự đoán Khách hàng Rời bỏ bằng Python

Ayo berlatih!

Phân tích Marketing: Dự đoán Khách hàng Rời bỏ bằng Python

Preparing Video For Download...