Mesurer la performance du modèle

Apprentissage supervisé avec scikit-learn

George Boorman

Core Curriculum Manager, DataCamp

Mesurer la performance du modèle

En classification, l'exactitude est un indicateur courant
Exactitude :

prédictions correctes divisées par le nombre total d'observations

Mesurer la performance du modèle

Comment mesurer l'exactitude ?
On peut la calculer sur les données ayant servi à ajuster le classifieur
MAIS ce n'est pas indicatif de la capacité de généralisation

Calculer l'exactitude

données scindées en ensemble d'entraînement et ensemble de test

Calculer l'exactitude

ajustement d'un classifieur sur l'ensemble d'entraînement

Calculer l'exactitude

calcul de l'exactitude à l'aide de l'ensemble de test

Séparation entraînement/test

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
                                                    random_state=21, stratify=y)

knn = KNeighborsClassifier(n_neighbors=6)

knn.fit(X_train, y_train)

print(knn.score(X_test, y_test))

0.8800599700149925

Complexité du modèle

Plus grand k = modèle moins complexe = risque de sous‑apprentissage
Plus petit k = modèle plus complexe = risque de surapprentissage

nuages de points montrant une frontière de décision KNN pour k=1, k=9 et k=18

Complexité et sur/sous‑apprentissage

train_accuracies = {}
test_accuracies = {}
neighbors = np.arange(1, 26)

for neighbor in neighbors:

    knn = KNeighborsClassifier(n_neighbors=neighbor)

    knn.fit(X_train, y_train)

    train_accuracies[neighbor] = knn.score(X_train, y_train)
    test_accuracies[neighbor] = knn.score(X_test, y_test)

Tracer les résultats

plt.figure(figsize=(8, 6))
plt.title("KNN: Varying Number of Neighbors")
plt.plot(neighbors, train_accuracies.values(), label="Training Accuracy")
plt.plot(neighbors, test_accuracies.values(), label="Testing Accuracy")
plt.legend()
plt.xlabel("Number of Neighbors")
plt.ylabel("Accuracy")
plt.show()

Courbe de complexité du modèle

graphique linéaire de l'exactitude selon le nombre de voisins, où l'exactitude d'entraînement et de test diminue à mesure que k augmente

Courbe de complexité du modèle

flèche sur le graphique pointant 13 voisins comme donnant la meilleure exactitude sur l'ensemble de test

Passons à la pratique !

Apprentissage supervisé avec scikit-learn