Metriky vysvětlitelnosti

Explainable AI v Pythonu

Fouad Trad

Machine Learning Engineer

Konzistence

  • Hodnotí stabilitu vysvětlení při trénování modelu na různých podmnožinách
  • Nízká konzistence → žádná robustní vysvětlení

Obrázek zobrazující datovou sadu rozdělenou na dvě podmnožiny: podmnožinu 1 a podmnožinu 2.

Explainable AI v Pythonu

Konzistence

  • Hodnotí stabilitu vysvětlení při trénování modelu na různých podmnožinách
  • Nízká konzistence → žádná robustní vysvětlení

Model je trénován na každé podmnožině.

Explainable AI v Pythonu

Konzistence

  • Hodnotí stabilitu vysvětlení při trénování modelu na různých podmnožinách
  • Nízká konzistence → žádná robustní vysvětlení

Po každém trénování modelu na podmnožině jsou odvozeny důležitosti příznaků a vypočtena jejich kosinová podobnost.

Explainable AI v Pythonu

Kosinová podobnost pro měření konzistence

 

 

 

Obrázek zobrazující klíčové hodnoty konzistence a jejich význam: pro 1 máme vysoce konzistentní vysvětlení.

Explainable AI v Pythonu

Kosinová podobnost pro měření konzistence

 

 

 

Obrázek zobrazující klíčové hodnoty konzistence a jejich význam: pro 1 máme vysoce konzistentní vysvětlení, pro 0 žádná konzistentní vysvětlení.

Explainable AI v Pythonu

Kosinová podobnost pro měření konzistence

 

 

 

Obrázek zobrazující klíčové hodnoty konzistence a jejich význam: pro 1 máme vysoce konzistentní vysvětlení, pro 0 žádná konzistentní vysvětlení a pro -1 opačná vysvětlení.

Explainable AI v Pythonu

Datová sada přijímacího řízení

GRE Score TOEFL Score University Rating SOP LOR CGPA Chance of Admit
337 118 4 4.5 4.5 9.65 0.92
324 107 4 4 4.5 8.87 0.76
316 104 3 3 3.5 8 0.72
322 110 3 3.5 2.5 8.67 0.8
314 103 2 2 3 8.21 0.45

 

  • X1, y1: první část datové sady
  • X2, y2: druhá část datové sady
  • model1, model2: regresory náhodného lesa
Explainable AI v Pythonu

Výpočet konzistence

from sklearn.metrics.pairwise import cosine_similarity


explainer1 = shap.TreeExplainer(model1)
explainer2 = shap.TreeExplainer(model2)


shap_values1 = explainer1.shap_values(X1)
shap_values2 = explainer2.shap_values(X2)


feature_importance1 = np.mean(np.abs(shap_values1), axis=0)
feature_importance2 = np.mean(np.abs(shap_values2), axis=0)


consistency = cosine_similarity([feature_importance1], [feature_importance2])
print("Consistency between SHAP values:", consistency)

Consistency between SHAP values: [[0.99706516]]
Explainable AI v Pythonu

Věrnost

  • Hodnotí, zda důležité příznaky ovlivňují predikce modelu
  • Nízká věrnost → zavádí důvěru v uvažování modelu
  • Užitečné v citlivých aplikacích

Obrázek zobrazující model generující původní predikci pro vstupní vzorek.

Explainable AI v Pythonu

Věrnost

  • Hodnotí, zda důležité příznaky ovlivňují predikce modelu
  • Nízká věrnost → zavádí důvěru v uvažování modelu
  • Užitečné v citlivých aplikacích

SHAP nebo LIME slouží k lokálnímu vysvětlení původní predikce.

Explainable AI v Pythonu

Věrnost

  • Hodnotí, zda důležité příznaky ovlivňují predikce modelu
  • Nízká věrnost → zavádí důvěru v uvažování modelu
  • Užitečné v citlivých aplikacích

Upravený vzorek je předán modelu k vygenerování nové predikce.

Explainable AI v Pythonu

Věrnost

  • Hodnotí, zda důležité příznaky ovlivňují predikce modelu
  • Nízká věrnost → zavádí důvěru v uvažování modelu
  • Užitečné v citlivých aplikacích

Obrázek zobrazující vzorec pro výpočet věrnosti jako absolutní hodnotu rozdílu mezi novou a původní predikcí.

Explainable AI v Pythonu

Výpočet věrnosti

X_instance = X_test.iloc[[0]]

original_prediction = model.predict_proba(X_instance)[0, 1]
print(f"Original prediction: {original_prediction}")

Original prediction: 0.43

Obrázek zobrazující vysvětlení důležitosti příznaků metodou LIME pro vybraný vzorek.

Explainable AI v Pythonu

Výpočet věrnosti

X_instance['GRE Score'] = 310  


new_prediction = model.predict_proba(X_instance)[0, 1]
print(f"Prediction after perturbing {important_feature}: {new_prediction}")


faithfulness_score = np.abs(original_prediction - new_prediction)
print(f"Local Faithfulness Score: {faithfulness_score}")

Prediction after perturbing GRE Score: 0.77

Local Faithfulness Score: 0.34
Explainable AI v Pythonu

Pojďme si procvičit!

Explainable AI v Pythonu

Preparing Video For Download...