Měření výkonu modelu

Supervised Learning with scikit-learn

George Boorman

Core Curriculum Manager, DataCamp

Měření výkonu modelu

V klasifikaci se běžně používá metrika přesnosti (accuracy)
Přesnost:

správné predikce vydělené celkovým počtem pozorování

Měření výkonu modelu

Jak měříme přesnost?
Lze ji spočítat na datech použitých k trénování klasifikátoru
NEVYPOVÍDÁ o schopnosti generalizovat

Výpočet přesnosti

data rozdělená na trénovací a testovací sadu

Výpočet přesnosti

trénování klasifikátoru na trénovací sadě

Výpočet přesnosti

výpočet přesnosti pomocí testovací sady

Rozdělení na trénovací a testovací sadu

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
                                                    random_state=21, stratify=y)

knn = KNeighborsClassifier(n_neighbors=6)

knn.fit(X_train, y_train)

print(knn.score(X_test, y_test))

0.8800599700149925

Složitost modelu

Větší k = jednodušší model = může způsobit underfitting
Menší k = složitější model = může vést k overfittingu

bodové grafy zobrazující rozhodovací hranice KNN pro k=1, k=9 a k=18

Složitost modelu a over/underfitting

train_accuracies = {}
test_accuracies = {}
neighbors = np.arange(1, 26)

for neighbor in neighbors:

    knn = KNeighborsClassifier(n_neighbors=neighbor)

    knn.fit(X_train, y_train)

    train_accuracies[neighbor] = knn.score(X_train, y_train)
    test_accuracies[neighbor] = knn.score(X_test, y_test)

Vizualizace výsledků

plt.figure(figsize=(8, 6))
plt.title("KNN: Varying Number of Neighbors")
plt.plot(neighbors, train_accuracies.values(), label="Training Accuracy")
plt.plot(neighbors, test_accuracies.values(), label="Testing Accuracy")
plt.legend()
plt.xlabel("Number of Neighbors")
plt.ylabel("Accuracy")
plt.show()

Křivka složitosti modelu

spojnicový graf přesnosti v závislosti na počtu sousedů, kde přesnost trénovací i testovací sady klesá s rostoucím k

Křivka složitosti modelu

šipka ve spojnicovém grafu ukazující na 13 sousedů jako hodnotu s nejlepší přesností na testovací sadě

Pojďme si procvičit!

Supervised Learning with scikit-learn