Explicabilidad local con SHAP

IA explicable en Python

Fouad Trad

Machine Learning Engineer

Explicabilidad global vs. local

Explicabilidad global

Comportamiento general del modelo
No explica casos individuales

Profesor explicando el rendimiento general de la clase a todo el alumnado.

Explicabilidad local

Explica la predicción para un dato concreto
Clave en aplicaciones sensibles

Profesor explicando a un estudiante concreto el motivo de su nota.

¹ Imágenes generadas con DALL-E

Dataset de cardiopatías

age	sex	blood_pressure	ecg_results	thalassemia
52	1	125	1	3
53	1	140	0	3
70	1	145	1	3
61	1	148	1	3
62	0	138	1	2

knn: clasificador KNN que predice riesgo de cardiopatía

Explicabilidad local con SHAP

explainer = shap.KernelExplainer(knn.predict_proba, shap.kmeans(X, 10))


test_instance = X.iloc[0, :]


shap_values = explainer.shap_values(test_instance)


print(shap_values.shape)

(6, 2)

Diagramas de cascada SHAP

Muestra cómo las variables suben o bajan la predicción del modelo

Un diagrama de cascada que muestra varias variables y la contribución de cada una a la predicción.

Diagramas de cascada SHAP

Muestra cómo las variables suben o bajan la predicción del modelo

Mismo diagrama de cascada que muestra el valor base, que sirve como punto inicial de la predicción.

Diagramas de cascada SHAP

Muestra cómo las variables suben o bajan la predicción del modelo

Mismo diagrama de cascada que muestra que, en estos diagramas, las variables que empujan a la derecha aumentan la predicción y las que empujan a la izquierda la disminuyen.

Crear diagramas de cascada

shap.waterfall_plot(

  shap.Explanation(

    values=shap_values[:,1],

    base_values=explainer.expected_value[1],

    data=test_instance,

    feature_names=X.columns

  )

)

Cascadas para varias instancias

Figura con cuatro diagramas de cascada, uno por muestra, que ilustran cómo cada muestra sigue patrones distintos hasta la decisión del modelo.

¡Vamos a practicar!

IA explicable en Python