Lokální vysvětlitelnost pomocí SHAP

Explainable AI v Pythonu

Fouad Trad

Machine Learning Engineer

Globální vs. lokální vysvětlitelnost

Globální vysvětlitelnost

Celkové chování modelu
Nevysvětluje jednotlivé instance

Profesor vysvětluje celkové výsledky třídy všem studentům.

Lokální vysvětlitelnost

Vysvětluje predikci pro konkrétní datový bod
Klíčová pro citlivé aplikace

Profesor vysvětluje konkrétnímu studentovi důvod jeho hodnocení.

¹ Obrázky generovány nástrojem DALL-E

Dataset srdečních onemocnění

age	sex	blood_pressure	ecg_results	thalassemia
52	1	125	1	3
53	1	140	0	3
70	1	145	1	3
61	1	148	1	3
62	0	138	1	2

knn: Klasifikátor KNN predikující riziko srdečního onemocnění

Lokální vysvětlitelnost pomocí SHAP

explainer = shap.KernelExplainer(knn.predict_proba, shap.kmeans(X, 10))


test_instance = X.iloc[0, :]


shap_values = explainer.shap_values(test_instance)


print(shap_values.shape)

(6, 2)

Vodopádové grafy SHAP

Zobrazuje, jak příznaky zvyšují nebo snižují predikci modelu

Vodopádový graf zobrazující více příznaků a příspěvek každého z nich k predikci.

Vodopádové grafy SHAP

Zobrazuje, jak příznaky zvyšují nebo snižují predikci modelu

Stejný vodopádový graf zobrazující základní hodnotu, která slouží jako výchozí bod pro predikci.

Vodopádové grafy SHAP

Zobrazuje, jak příznaky zvyšují nebo snižují predikci modelu

Stejný vodopádový graf znázorňující, že příznaky posouvající se doprava predikci zvyšují, zatímco příznaky doleva ji snižují.

Vytváření vodopádových grafů

shap.waterfall_plot(

  shap.Explanation(

    values=shap_values[:,1],

    base_values=explainer.expected_value[1],

    data=test_instance,

    feature_names=X.columns

  )

)

Vodopádové grafy pro více instancí

Obrázek zobrazující čtyři vodopádové grafy, jeden pro každý vzorek, ilustrující, jak různé vzorky sledují odlišné vzory při dosažení rozhodnutí modelu.

Pojďme procvičovat!

Explainable AI v Pythonu