Indicateurs d’explicabilité

IA explicable en Python

Fouad Trad

Machine Learning Engineer

Cohérence

Évalue la stabilité des explications quand le modèle est entraîné sur différents sous‑ensembles
Faible cohérence → explications non robustes

Image montrant un jeu de données divisé en deux sous-ensembles : sous-ensemble 1 et sous-ensemble 2.

Cohérence

Évalue la stabilité des explications quand le modèle est entraîné sur différents sous‑ensembles
Faible cohérence → explications non robustes

Un modèle est entraîné sur chaque sous-ensemble.

Cohérence

Évalue la stabilité des explications quand le modèle est entraîné sur différents sous‑ensembles
Faible cohérence → explications non robustes

À chaque entraînement sur un sous-ensemble, on calcule l’importance des variables puis la similarité cosinus entre elles.

Similarité cosinus pour mesurer la cohérence

Image montrant les valeurs clés de cohérence et leurs sens : 1 = explications très cohérentes.

Similarité cosinus pour mesurer la cohérence

Image montrant les valeurs clés de cohérence et leurs sens : 1 = explications très cohérentes, 0 = pas de cohérence,

Similarité cosinus pour mesurer la cohérence

Image montrant les valeurs clés de cohérence et leurs sens : 1 = explications très cohérentes, 0 = pas de cohérence, -1 = explications opposées.

Jeu de données d’admissions

GRE	TOEFL	Note université	SOP	LOR	CGPA	Proba d’admission
337	118	4	4.5	4.5	9.65	0.92
324	107	4	4	4.5	8.87	0.76
316	104	3	3	3.5	8	0.72
322	110	3	3.5	2.5	8.67	0.8
314	103	2	2	3	8.21	0.45

X1, y1 : première partie du jeu de données
X2, y2 : seconde partie du jeu de données
model1, model2 : régressions forêt aléatoire

Calculer la cohérence

from sklearn.metrics.pairwise import cosine_similarity


explainer1 = shap.TreeExplainer(model1)
explainer2 = shap.TreeExplainer(model2)


shap_values1 = explainer1.shap_values(X1)
shap_values2 = explainer2.shap_values(X2)


feature_importance1 = np.mean(np.abs(shap_values1), axis=0)
feature_importance2 = np.mean(np.abs(shap_values2), axis=0)


consistency = cosine_similarity([feature_importance1], [feature_importance2])
print("Consistency between SHAP values:", consistency)

Consistency between SHAP values: [[0.99706516]]

Fidélité

Vérifie si les variables importantes influencent les prédictions
Faible fidélité → confiance trompeuse dans le raisonnement
Utile pour les applications sensibles

Image montrant un modèle générant une prédiction initiale pour un échantillon.

Fidélité

Vérifie si les variables importantes influencent les prédictions
Faible fidélité → confiance trompeuse dans le raisonnement
Utile pour les applications sensibles

SHAP ou LIME expliquent localement cette prédiction initiale.

Fidélité

Vérifie si les variables importantes influencent les prédictions
Faible fidélité → confiance trompeuse dans le raisonnement
Utile pour les applications sensibles

Un échantillon modifié est envoyé au modèle pour générer une nouvelle prédiction.

Fidélité

Vérifie si les variables importantes influencent les prédictions
Faible fidélité → confiance trompeuse dans le raisonnement
Utile pour les applications sensibles

Image montrant la formule de la fidélité : valeur absolue de la différence entre la nouvelle prédiction et l’originale.

Calculer la fidélité

X_instance = X_test.iloc[[0]]

original_prediction = model.predict_proba(X_instance)[0, 1]
print(f"Original prediction: {original_prediction}")

Original prediction: 0.43

Image montrant l’importance des variables selon LIME pour l’échantillon sélectionné.

Calculer la fidélité

X_instance['GRE Score'] = 310  


new_prediction = model.predict_proba(X_instance)[0, 1]
print(f"Prediction after perturbing {important_feature}: {new_prediction}")


faithfulness_score = np.abs(original_prediction - new_prediction)
print(f"Local Faithfulness Score: {faithfulness_score}")

Prediction after perturbing GRE Score: 0.77

Local Faithfulness Score: 0.34

Passons à la pratique !

IA explicable en Python