Förutsäg churn med beslutsträd

Maskininlärning för marknadsföring i Python

Karolis Urbonas

Head of Analytics & Science, Amazon

Introduktion till beslutsträd

Beslutsträdsregler på Titanic-överlevnadsdatasetet

Maskininlärning för marknadsföring i Python

Modelleringssteg

  1. Dela upp data i träning och test
  2. Initiera modellen
  3. Träna modellen på träningsdata
  4. Förutsäg värden på testdata
  5. Mät modellens prestanda på testdata
Maskininlärning för marknadsföring i Python

Träna modellen

Importera beslutsträdsmodulen

from sklearn.tree import DecisionTreeClassifier

Initiera beslutsträdsmodellen

mytree = DecisionTreeClassifier()

Träna modellen på träningsdata

treemodel = mytree.fit(train_X, train_Y)
Maskininlärning för marknadsföring i Python

Mäta modellens noggrannhet

from sklearn.metrics import accuracy_score

pred_train_Y = mytree.predict(train_X)
pred_test_Y = mytree.predict(test_X)

train_accuracy = accuracy_score(train_Y, pred_train_Y)
test_accuracy = accuracy_score(test_Y, pred_test_Y)

print('Training accuracy:', round(train_accuracy,4))
print('Test accuracy:', round(test_accuracy, 4))

Training accuracy: 0.9973
Test accuracy: 0.7196
Maskininlärning för marknadsföring i Python

Mäta precision och recall

from sklearn.metrics import precision_score, recall_score

train_precision = round(precision_score(train_Y, pred_train_Y), 4)
test_precision = round(precision_score(test_Y, pred_test_Y), 4)

train_recall = round(recall_score(train_Y, pred_train_Y), 4)
test_recall = round(recall_score(test_Y, pred_test_Y), 4)

print('Training precision: {}, Training recall: {}'.format(train_precision, train_recall))
print('Test precision: {}, Test recall: {}'.format(train_recall, test_recall))

Training precision: 0.9993, Training recall: 0.9906
Test precision: 0.9906, Test recall: 0.4878
Maskininlärning för marknadsföring i Python

Finjustering av träddjupet

depth_list = list(range(2,15))
depth_tuning = np.zeros((len(depth_list), 4))
depth_tuning[:,0] = depth_list

for index in range(len(depth_list)):
    mytree = DecisionTreeClassifier(max_depth=depth_list[index])
    mytree.fit(train_X, train_Y)
    pred_test_Y = mytree.predict(test_X)

    depth_tuning[index,1] = accuracy_score(test_Y, pred_test_Y)
    depth_tuning[index,2] = precision_score(test_Y, pred_test_Y)
    depth_tuning[index,3] = recall_score(test_Y, pred_test_Y)

col_names = ['Max_Depth','Accuracy','Precision','Recall']
print(pd.DataFrame(depth_tuning, columns=col_names))
Maskininlärning för marknadsföring i Python

Välja optimalt djup

Finjustering av max_depth

Maskininlärning för marknadsföring i Python

Välja optimalt djup

Finjustering av max_depth

Maskininlärning för marknadsföring i Python

Nu kör vi en övning!

Maskininlärning för marknadsföring i Python

Preparing Video For Download...