Evaluarea și vizualizarea modelelor

Machine Learning End-to-End

Joshua Stapleton

Machine Learning Engineer

Acuratețea

  • Metricile corecte de acuratețe sunt esențiale pentru evaluarea robustă a modelului
  • Rezultatele pot fi ușor interpretate greșit

Acuratețe standard:

  • Acuratețe standard = răspunsuri corecte / total răspunsuri
  • Acuratețea standard poate fi înșelătoare

Exemplu:

# achieves ~99% accuracy for imbalanced dataset of 99 positive and 1 negative
for patient_datapoint in heart_disease_dataset:
    model.prediction(patient_datapoint) = 'positive'
Machine Learning End-to-End

Matricea de confuzie

Adevărat pozitive (TP)

  • Predicție model = clasificare reală = pozitiv
  • Modelul a prezis boală cardiacă, pacientul a avut boală cardiacă

Fals pozitive (FP)

  • Predicție model = pozitiv, clasificare reală = negativ
  • Modelul a prezis boală cardiacă, pacientul nu a avut boală cardiacă

Fals negative (FN)

  • Predicție model = negativ, clasificare reală = pozitiv
  • Modelul a prezis absența bolii cardiace, pacientul a avut boală cardiacă

Adevărat negative (TN)

  • Predicție model = clasificare reală = negativ
  • Modelul a prezis absența bolii cardiace, pacientul nu a avut boală cardiacă
Machine Learning End-to-End

Acuratețea echilibrată

  • Metrică mai bună decât acuratețea simplă pentru majoritatea modelelor de clasificare binară
  • Oferă o medie ponderată pe ambele clase
  • Acuratețe echilibrată = (TP + TN) / 2
from sklearn.metrics import balanced_accuracy_score

# Assume y_test is the true labels and y_pred are the predicted labels
y_pred = model.predict(X_test)
bal_accuracy = balanced_accuracy_score(y_test, y_pred)
print(f"Balanced Accuracy: {bal_accuracy:.2f}")

Balanced Accuracy: 0.85
Machine Learning End-to-End

Utilizarea matricei de confuzie

Matricea de confuzie

Machine Learning End-to-End

Validarea încrucișată

Validarea încrucișată

  • Procedură de reesantionare
  • Asigură robustețea rezultatelor

 

Validarea încrucișată k-fold

  • Parametrul „k" = numărul de partiții ale setului de date
  • Reesantionare nouă train/test la fiecare rulare

Diagramă ilustrând validarea încrucișată

Machine Learning End-to-End

Utilizarea validării încrucișate

  • Implementare simplă a validării încrucișate k-fold cu sklearn
  • Scoring independent de model

Utilizare:

from sklearn.model_selection import cross_val_score, KFold

# split the data into 10 equal parts
kfold = KFold(n_splits=5, shuffle=True, random_state=42)


# get the cross validation accuracy for a given model
cv_results = cross_val_score(model, heart_disease_X, 
heart_disease_y, cv=kfold, scoring='balanced_accuracy')
Machine Learning End-to-End

Ajustarea hiperparametrilor

Hiperparametru:

  • Parametru global al modelului (nu se modifică în antrenare)
  • Se ajustează pentru a îmbunătăți performanța modelului
# Hyperparameters to test
C_values = [0.001, 0.01, 0.1, 1, 10, 100, 1000]

# Manually iterate over the hyperparameters
for C in C_values:
    model = LogisticRegression(max_iter=200, C=C)
    model.fit(X_train, y_train)
    accuracy = cross_val_score(model, X, y, cv=kfold, scoring='balanced_accuracy')
    print(f"C = {C}: Bal Acc: {accuracy.mean():.4f} (+/- {accuracy.std():.4f})")
Machine Learning End-to-End

Exemplu de ajustare a hiperparametrilor

Exemplu de ieșire pentru ajustarea hiperparametrilor:

 

C = 0.001: Bal Acc: 0.6200 (+/- 0.0215)
C = 0.01: Bal Acc: 0.7325 (+/- 0.0234)
C = 0.1: Bal Acc: 0.7923 (+/- 0.0202)
C = 1: Bal Acc: 0.8050 (+/- 0.0191)
C = 10: Bal Acc: 0.8034 (+/- 0.0185)
C = 100: Bal Acc: 0.8021 (+/- 0.0187)
C = 1000: Bal Acc: 0.8017 (+/- 0.0188)
Machine Learning End-to-End

Să exersăm!

Machine Learning End-to-End

Preparing Video For Download...