การประเมินประสิทธิภาพโมเดล

Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

Mark Peterson

Director of Data Science, Infoblox

ความแม่นยำ (Accuracy)

  • เมตริกที่ใช้ได้: ความแม่นยำ (Accuracy)
    • จำนวนการพยากรณ์ถูกทั้งหมด / จำนวนจุดข้อมูลทั้งหมด
  • จะใช้ข้อมูลชุดใด?
    • ข้อมูล Training ไม่ได้แทนข้อมูลใหม่
Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

ชุด Training และ Test

  • Fit classifier เข้ากับชุด Training
  • พยากรณ์โดยใช้ชุด Test
Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

ชุด Training และ Test ด้วย scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], test_size=0.2, random_state = 42)
from sklearn.svm import SVC svc = SVC() svc.fit(X_train, y_train) svc.predict(X_test)
Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

การคำนวณความแม่นยำ

svc.score(X_test, y_test)
0.857
  • ความแม่นยำ 85.7%: ดีมากสำหรับการลองครั้งแรก!
Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

การปรับปรุงโมเดล

  • Overfitting: โมเดล Fit ข้อมูล Training แน่นเกินไป
  • Underfitting: ไม่สามารถจับแนวโน้มในข้อมูล Training ได้
  • ต้องหาจุดสมดุลระหว่าง Overfitting และ Underfitting
Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

มาฝึกกันเถอะ!

Marketing Analytics: การพยากรณ์การเลิกใช้บริการของลูกค้าด้วย Python

Preparing Video For Download...