Avaliando o desempenho do modelo

Análise de Marketing: Prevendo Churn de Clientes em Python

Mark Peterson

Director of Data Science, Infoblox

Acurácia

  • Uma métrica possível: Acurácia
    • Número total de previsões corretas / Número total de pontos de dados
  • Que dados usar?
    • Dados de treino não representam bem dados novos
Análise de Marketing: Prevendo Churn de Clientes em Python

Conjuntos de treino e teste

  • Ajuste seu classificador ao conjunto de treino
  • Faça previsões usando o conjunto de teste
Análise de Marketing: Prevendo Churn de Clientes em Python

Conjuntos de treino e teste no scikit-learn

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(telco['data'], telco['target'], 
                                   test_size=0.2, random_state = 42)

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)

svc.predict(X_test)
Análise de Marketing: Prevendo Churn de Clientes em Python

Calculando a acurácia

svc.score(X_test, y_test)

0.857
  • 85,7% de acurácia: bem bom para a primeira tentativa!
Análise de Marketing: Prevendo Churn de Clientes em Python

Melhorando seu modelo

  • Overfitting: o modelo se ajusta demais aos dados de treino
  • Underfitting: não captura tendências nos dados de treino
  • É preciso equilibrar overfitting e underfitting
Análise de Marketing: Prevendo Churn de Clientes em Python

Vamos praticar!

Análise de Marketing: Prevendo Churn de Clientes em Python

Preparing Video For Download...