Ocena i wizualizacja modelu
End-to-End Machine Learning
Joshua Stapleton
Machine Learning Engineer
Dokładność
- Właściwe metryki dokładności są kluczowe dla rzetelnej oceny modelu
- Łatwo błędnie interpretować lub ukryć wyniki
Standardowa dokładność:
- Standardowa dokładność = liczba poprawnych odpowiedzi / liczba odpowiedzi
- Standardowa dokładność może być myląca
Przykład:
# achieves ~99% accuracy for imbalanced dataset of 99 positive and 1 negative
for patient_datapoint in heart_disease_dataset:
model.prediction(patient_datapoint) = 'positive'
Macierz pomyłek
Prawdziwie pozytywne (TP)
- Predykcja modelu = rzeczywista klasa = pozytywna
- Model przewidział chorobę serca, pacjent miał chorobę serca
Fałszywie pozytywne (FP)
- Predykcja modelu = pozytywna, rzeczywista klasa = negatywna
- Model przewidział chorobę serca, pacjent nie miał choroby serca
Fałszywie negatywne (FN)
- Predykcja modelu = negatywna, rzeczywista klasa = pozytywna
- Model nie przewidział choroby serca, pacjent miał chorobę serca
Prawdziwie negatywne (TN)
- Predykcja modelu = rzeczywista klasa = negatywna
- Model nie przewidział choroby serca, pacjent nie miał choroby serca
Zrównoważona dokładność
- Lepsza metryka niż zwykła dokładność dla większości binarnych modeli klasyfikacji
- Zapewnia ważoną średnią dla obu klas
- Zrównoważona dokładność = (TP + TN) / 2
from sklearn.metrics import balanced_accuracy_score
# Assume y_test is the true labels and y_pred are the predicted labels
y_pred = model.predict(X_test)
bal_accuracy = balanced_accuracy_score(y_test, y_pred)
print(f"Balanced Accuracy: {bal_accuracy:.2f}")
Balanced Accuracy: 0.85
Zastosowanie macierzy pomyłek
Walidacja krzyżowa
Walidacja krzyżowa
- Procedura próbkowania
- Zapewnia solidność wyników
Walidacja krzyżowa k-fold
- Param 'k' = liczba podziałów zbioru danych
- Nowy podział na zbiór treningowy/testowy dla każdego uruchomienia
Zastosowanie walidacji krzyżowej
- Prosta implementacja walidacji krzyżowej k-fold w sklearn
- Ocenianie niezależne od modelu
Użycie:
from sklearn.model_selection import cross_val_score, KFold # split the data into 10 equal parts kfold = KFold(n_splits=5, shuffle=True, random_state=42)# get the cross validation accuracy for a given model cv_results = cross_val_score(model, heart_disease_X, heart_disease_y, cv=kfold, scoring='balanced_accuracy')
Dostrajanie hiperparametrów
Hiperparametr:
- Globalny parametr modelu (nie zmienia się podczas treningu)
- Dostosowywany w celu poprawy wydajności modelu
# Hyperparameters to test
C_values = [0.001, 0.01, 0.1, 1, 10, 100, 1000]
# Manually iterate over the hyperparameters
for C in C_values:
model = LogisticRegression(max_iter=200, C=C)
model.fit(X_train, y_train)
accuracy = cross_val_score(model, X, y, cv=kfold, scoring='balanced_accuracy')
print(f"C = {C}: Bal Acc: {accuracy.mean():.4f} (+/- {accuracy.std():.4f})")
Przykład dostrajania hiperparametrów
Przykładowe dane wyjściowe dostrajania hiperparametrów:
C = 0.001: Bal Acc: 0.6200 (+/- 0.0215)
C = 0.01: Bal Acc: 0.7325 (+/- 0.0234)
C = 0.1: Bal Acc: 0.7923 (+/- 0.0202)
C = 1: Bal Acc: 0.8050 (+/- 0.0191)
C = 10: Bal Acc: 0.8034 (+/- 0.0185)
C = 100: Bal Acc: 0.8021 (+/- 0.0187)
C = 1000: Bal Acc: 0.8017 (+/- 0.0188)
Czas na ćwiczenia!
End-to-End Machine Learning
