Візуалізація пояснюваності SHAP

Пояснюваний ШІ в Python

Fouad Trad

Machine Learning Engineer

Набір даних

age	gender	bmi	children	smoker	charges
19	0	27.900	0	1	16884.92
18	1	33.770	1	0	1725.55
28	1	33.000	3	0	4449.46
33	1	22.705	0	0	21984.47
32	1	28.880	0	0	3866.85

model: випадковий ліс для регресії, щоб передбачати charges

import shap
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X)

shap.summary_plot(shap_values, X, plot_type="bar")

Графік важливості ознак: статус куріння — найважливіша ознака.

Показує розподіл значень SHAP
Підсвічує напрям і величину впливу ознаки на прогноз
- Червоний колір → високе значення ознаки
- Синій колір → низьке значення ознаки
- SHAP > 0 → збільшує результат
- SHAP < 0 → зменшує результат

Графік «бджолиний рой» із розподілом значень SHAP для кожної ознаки; колір відображає значення ознаки.

Показує розподіл значень SHAP
Підсвічує напрям і величину впливу ознаки на прогноз
- Червоний колір → високе значення ознаки
- Синій колір → низьке значення ознаки
- SHAP > 0 → збільшує результат
- SHAP < 0 → зменшує результат

Той самий beeswarm-графік: високі значення ознаки 'smoker' мають додатні значення SHAP.

Показує розподіл значень SHAP
Підсвічує напрям і величину впливу ознаки на прогноз
- Червоний колір → високе значення ознаки
- Синій колір → низьке значення ознаки
- SHAP > 0 → збільшує результат
- SHAP < 0 → зменшує результат

shap.summary_plot(shap_values, X, 
                  plot_type="dot")

Той самий beeswarm-графік: низькі значення ознаки 'smoker' мають від'ємні значення SHAP.

Загальний графік часткової залежності: зв'язок між ознакою та результатом як спадна функція.

Для кожного зразка:
- Варіюйте значення вибраної ознаки
- Інші ознаки фіксуйте
- Передбачайте результат
Усереднюйте результати всіх зразків

shap.partial_dependence_plot("age", 
                             model.predict, 
                             X)

Графік часткової залежності для ознаки age: зі зростанням віку зростає й прогноз.

Для кожного зразка:
- Варіюйте значення вибраної ознаки
- Інші ознаки фіксуйте
- Передбачайте результат
Усереднюйте результати всіх зразків

shap.partial_dependence_plot("age", 
                             model.predict, 
                             X)

Той самий графік часткової залежності з підсвіченим розподілом значень age у наборі даних.

Пояснюваний ШІ в Python