Объяснимость линейных моделей

Объяснимый ИИ на Python

Fouad Trad

Machine Learning Engineer

Линейные модели

Линейная регрессия

Предсказывает непрерывные значения

Изображение прямой, аппроксимирующей набор точек: по оси X — результат теста, по оси Y — вероятность поступления.

Линейные модели

Линейная регрессия

Предсказывает непрерывные значения

Логистическая регрессия

Используется для бинарной классификации

Изображение прямой, разделяющей точки данных о транзакциях по сумме и времени выполнения.

Почему линейные модели объяснимы?

Обучаются линейной комбинации входных признаков
$c_0 + c_1 \times \text{feature}_1 + c_2 \times \text{feature}_2 + \ldots + c_n \times \text{feature}_n$

Те же графики линейной и логистической регрессии, дополненные уравнениями: линейная регрессия — Mobile price=푐_0+푐_1∗Storage, логистическая регрессия — 푐_0+푐_1∗Time of day+푐_2∗Transaction amount=0

Коэффициенты

Показывают важность каждого признака
- Большее абсолютное значение → выше важность
- Меньшее абсолютное значение → ниже важность
Для сравнения коэффициентов → абсолютные значения
Примечание: нормализуйте признаки перед вычислением коэффициентов

Уравнение Mobile price=푐_0+5∗Storage+2∗Number of lenses с выделенными коэффициентами

Коэффициенты

Показывают важность каждого признака
- Большее абсолютное значение → выше важность
- Меньшее абсолютное значение → ниже важность
Для сравнения коэффициентов → абсолютные значения
Примечание: нормализуйте признаки перед вычислением коэффициентов

Уравнение Mobile price=𝑐_0+𝑐_1∗Storage+c_2∗Number of lenses с пояснением: объём памяти обычно измеряется в сотнях и тысячах гигабайт, а количество объективов — как правило, менее 4.

Поступление в университет

GRE Score	TOEFL Score	University Rating	SOP	LOR	CGPA	Chance of Admit	Accept
337	118	4	4.5	4.5	9.65	0.92	1
324	107	4	4	4.5	8.87	0.76	1
316	104	3	3	3.5	8	0.72	1
322	110	3	3.5	2.5	8.67	0.8	1
314	103	2	2	3	8.21	0.45	0

X_train = data.drop(['Chance of Admit', 'Accept'], axis=1)

y_reg = data['Chance of Admit']

y_cls = data['Accept']

Обучение модели

from sklearn.preprocessing import MinMaxScaler
from sklearn.linear_model import LinearRegression, LogisticRegression


scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)


lin_reg = LinearRegression()
lin_reg.fit(X_train_scaled, y_reg)


log_reg = LogisticRegression()
log_reg.fit(X_train_scaled, y_cls)

Вычисление коэффициентов

Линейная регрессия

print(lin_reg.coef_)

[0.03052087 0.01665433 0.00668971 
 0.00326926 0.01724815 0.0661691 ]

Логистическая регрессия

print(log_reg.coef_)

[[1.28985577  0.49441086  0.47593379 
  0.05434322  0.41800927  1.31980189]]

Визуализация коэффициентов

Линейная регрессия

import matplotlib.pyplot as plt
plt.bar(X_train.columns, lin_reg.coef_)

Столбчатая диаграмма важности признаков: CGPA и оценка GRE — наиболее значимые признаки.

Логистическая регрессия

import matplotlib.pyplot as plt
plt.bar(X_train.columns, log_reg.coef_[0])

Столбчатая диаграмма важности признаков: CGPA и оценка GRE — наиболее значимые признаки.

Давайте потренируемся!

Объяснимый ИИ на Python