Пояснюваність у лінійних моделях

Пояснюваний ШІ в Python

Fouad Trad

Machine Learning Engineer

Лінійні моделі

Лінійна регресія

Прогнозує неперервні значення

Зображення лінії, що прилягає до кількох точок; вісь x — тестовий бал, вісь y — імовірність зарахування.

Лінійні моделі

Лінійна регресія

Прогнозує неперервні значення

Зображення лінії, що прилягає до кількох точок; вісь x — тестовий бал, вісь y — імовірність зарахування.

Логістична регресія

Використовується для бінарної класифікації

Зображення лінії, що розділяє точки-транзакції за сумою та часом виконання.

Чому лінійні моделі пояснювані?

Навчають лінійну комбінацію ознак вводу
$c_0 + c_1 \times \text{feature}_1 + c_2 \times \text{feature}_2 + \ldots + c_n \times \text{feature}_n$

Ті самі графіки лінійної та логістичної регресій з рівняннями: лінійна — Mobile price=푐_0+푐_1∗Storage; логістична — 푐_0+푐_1∗Time of day+푐_2∗Transaction amount=0

Коефіцієнти

Показують важливість кожної ознаки
- Більше абсолютне значення → вища важливість
- Менше абсолютне значення → нижча важливість
Для порівняння коефіцієнтів → беріть абсолютні значення
Увага: нормалізуйте масштаби ознак перед обчисленням коефіцієнтів

Рівняння Mobile price=푐_0+5∗Storage+2∗Number of lenses з підсвіченими коефіцієнтами

Коефіцієнти

Показують важливість кожної ознаки
- Більше абсолютне значення → вища важливість
- Менше абсолютне значення → нижча важливість
Для порівняння коефіцієнтів → абсолютні значення
Увага: нормалізуйте масштаби ознак перед обчисленням коефіцієнтів

Рівняння Mobile price=𝑐_0+𝑐_1∗Storage+c_2∗Number of lenses; розміри Storage — сотні–тисячі ГБ, кількість лінз — зазвичай < 4.

Зарахування

GRE Score	TOEFL Score	University Rating	SOP	LOR	CGPA	Chance of Admit	Accept
337	118	4	4.5	4.5	9.65	0.92	1
324	107	4	4	4.5	8.87	0.76	1
316	104	3	3	3.5	8	0.72	1
322	110	3	3.5	2.5	8.67	0.8	1
314	103	2	2	3	8.21	0.45	0

X_train = data.drop(['Chance of Admit', 'Accept'], axis=1)

y_reg = data['Chance of Admit']

y_cls = data['Accept']

Навчання моделей

from sklearn.preprocessing import MinMaxScaler
from sklearn.linear_model import LinearRegression, LogisticRegression


scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)


lin_reg = LinearRegression()
lin_reg.fit(X_train_scaled, y_reg)


log_reg = LogisticRegression()
log_reg.fit(X_train_scaled, y_cls)

Обчислення коефіцієнтів

Лінійна регресія

print(lin_reg.coef_)

[0.03052087 0.01665433 0.00668971 
 0.00326926 0.01724815 0.0661691 ]

Логістична регресія

print(log_reg.coef_)

[[1.28985577  0.49441086  0.47593379 
  0.05434322  0.41800927  1.31980189]]

Візуалізація коефіцієнтів

Лінійна регресія

import matplotlib.pyplot as plt
plt.bar(X_train.columns, lin_reg.coef_)

Стовпчикова діаграма важливостей: CGPA та GRE — найважливіші ознаки.

Логістична регресія

import matplotlib.pyplot as plt
plt.bar(X_train.columns, log_reg.coef_[0])

Стовпчикова діаграма важливостей: CGPA та GRE — найважливіші ознаки.

Давайте потренуємось!

Пояснюваний ШІ в Python