व्याख्यात्मकता मेट्रिक्स

Python में Explainable AI

Fouad Trad

Machine Learning Engineer

Consistency

अलग-अलग सबसेट पर मॉडल ट्रेन करने पर व्याख्याओं की स्थिरता आँकता है
कम consistency → व्याख्याएँ robust नहीं

डेटासेट दो सबसेट में बँटा दिख रहा है: subset 1 और subset 2.

Consistency

अलग-अलग सबसेट पर मॉडल ट्रेन करने पर व्याख्याओं की स्थिरता आँकता है
कम consistency → व्याख्याएँ robust नहीं

प्रत्येक सबसेट पर एक मॉडल ट्रेन किया जाता है.

Consistency

अलग-अलग सबसेट पर मॉडल ट्रेन करने पर व्याख्याओं की स्थिरता आँकता है
कम consistency → व्याख्याएँ robust नहीं

हर बार किसी सबसेट पर मॉडल ट्रेन होने पर हम feature importance निकालते हैं और इनके लिए cosine similarity गिनते हैं.

Consistency मापने के लिए cosine similarity

Consistency के मुख्य मान और उनके अर्थ: 1 पर व्याख्याएँ अत्यधिक consistent हैं.

Consistency मापने के लिए cosine similarity

Consistency के मुख्य मान और उनके अर्थ: 1 पर अत्यधिक consistent व्याख्याएँ, 0 पर कोई consistency नहीं.

Consistency मापने के लिए cosine similarity

Consistency के मुख्य मान और उनके अर्थ: 1 पर अत्यधिक consistent, 0 पर कोई consistency नहीं, और -1 पर विपरीत व्याख्याएँ.

Admissions डेटासेट

GRE Score	TOEFL Score	University Rating	SOP	LOR	CGPA	Chance of Admit
337	118	4	4.5	4.5	9.65	0.92
324	107	4	4	4.5	8.87	0.76
316	104	3	3	3.5	8	0.72
322	110	3	3.5	2.5	8.67	0.8
314	103	2	2	3	8.21	0.45

X1, y1: डेटासेट का पहला भाग
X2, y2: डेटासेट का दूसरा भाग
model1, model2: random forest regressors

Consistency कैसे compute करें

from sklearn.metrics.pairwise import cosine_similarity


explainer1 = shap.TreeExplainer(model1)
explainer2 = shap.TreeExplainer(model2)


shap_values1 = explainer1.shap_values(X1)
shap_values2 = explainer2.shap_values(X2)


feature_importance1 = np.mean(np.abs(shap_values1), axis=0)
feature_importance2 = np.mean(np.abs(shap_values2), axis=0)


consistency = cosine_similarity([feature_importance1], [feature_importance2])
print("Consistency between SHAP values:", consistency)

Consistency between SHAP values: [[0.99706516]]

Faithfulness

जाँचता है कि महत्वपूर्ण फीचर मॉडल की भविष्यवाणियों को प्रभावित करते हैं या नहीं
कम faithfulness → मॉडल की reasoning पर भरोसा भ्रमित करता है
संवेदनशील एप्लिकेशन में उपयोगी

एक इनपुट सैंपल पर मॉडल मूल prediction बनाता है.

Faithfulness

जाँचता है कि महत्वपूर्ण फीचर मॉडल की भविष्यवाणियों को प्रभावित करते हैं या नहीं
कम faithfulness → मॉडल की reasoning पर भरोसा भ्रमित करता है
संवेदनशील एप्लिकेशन में उपयोगी

मूल prediction को locally समझाने हेतु SHAP या LIME का उपयोग.

Faithfulness

जाँचता है कि महत्वपूर्ण फीचर मॉडल की भविष्यवाणियों को प्रभावित करते हैं या नहीं
कम faithfulness → मॉडल की reasoning पर भरोसा भ्रमित करता है
संवेदनशील एप्लिकेशन में उपयोगी

बदला हुआ सैंपल मॉडल में देकर नई prediction निकाली जाती है.

Faithfulness

जाँचता है कि महत्वपूर्ण फीचर मॉडल की भविष्यवाणियों को प्रभावित करते हैं या नहीं
कम faithfulness → मॉडल की reasoning पर भरोसा भ्रमित करता है
संवेदनशील एप्लिकेशन में उपयोगी

Faithfulness निकालने का सूत्र: नई और मूल prediction के अंतर का परिमाण.

Faithfulness कैसे compute करें

X_instance = X_test.iloc[[0]]

original_prediction = model.predict_proba(X_instance)[0, 1]
print(f"Original prediction: {original_prediction}")

Original prediction: 0.43

चुने गए सैंपल के लिए LIME की feature importance व्याख्या.

Faithfulness कैसे compute करें

X_instance['GRE Score'] = 310  


new_prediction = model.predict_proba(X_instance)[0, 1]
print(f"Prediction after perturbing {important_feature}: {new_prediction}")


faithfulness_score = np.abs(original_prediction - new_prediction)
print(f"Local Faithfulness Score: {faithfulness_score}")

Prediction after perturbing GRE Score: 0.77

Local Faithfulness Score: 0.34

अभ्यास करते हैं!

Python में Explainable AI