Förklarbarhet i linjära modeller

Förklarbar AI i Python

Fouad Trad

Machine Learning Engineer

Linjära modeller

Linjär regression
  • Förutsäger kontinuerliga värden

Bild som visar en linje som passar flera punkter, där x-axeln representerar ett testresultat och y-axeln representerar chansen att bli antagen.

Förklarbar AI i Python

Linjära modeller

Linjär regression
  • Förutsäger kontinuerliga värden

Bild som visar en linje som passar flera punkter, där x-axeln representerar ett testresultat och y-axeln representerar chansen att bli antagen.

Logistisk regression
  • Används för binär klassificering

Bild som visar en linje som separerar flera datapunkter som representerar transaktioner baserat på transaktionsbelopp och tidpunkt.

Förklarbar AI i Python

Varför är linjära modeller förklarbara?

  • Lär sig en linjär kombination av särdrag
  • $c_0 + c_1 \times \text{feature}_1 + c_2 \times \text{feature}_2 + \ldots + c_n \times \text{feature}_n$

Bild som visar samma grafer för linjär och logistisk regression som tidigare, men med den ekvation varje modell lär sig: linjär regression lär sig en ekvation av formen Mobile price=푐_0+푐_1∗Storage, och logistisk regression lär sig en ekvation av formen 푐_0+푐_1∗Time of day+푐_2∗Transaction amount=0

Förklarbar AI i Python

Koefficienter

  • Visar vikten av varje särdrag
    • Högre absolut värde → högre vikt
    • Lägre absolut värde → lägre vikt
  • För att jämföra koefficienter → absoluta värden
  • Obs: Normalisera skalorna för särdragen innan koefficienterna beräknas

Bild som visar ekvationen Mobile price=푐_0+5∗Storage+2∗Number of lenses, med koefficienterna markerade

Förklarbar AI i Python

Koefficienter

  • Visar vikten av varje särdrag
    • Högre absolut värde → högre vikt
    • Lägre absolut värde → lägre vikt
  • För att jämföra koefficienter → absoluta värden
  • Obs: Normalisera skalorna för särdragen innan koefficienterna beräknas

Bild som visar ekvationen Mobile price=𝑐_0+𝑐_1∗Storage+c_2∗Number of lenses, med markeringar som visar att lagringsstorlekar typiskt ligger i intervallet hundra till tusentals gigabyte, och att antalet linser vanligtvis är färre än 4.

Förklarbar AI i Python

Antagningsdata

GRE Score TOEFL Score University Rating SOP LOR CGPA Chance of Admit Accept
337 118 4 4.5 4.5 9.65 0.92 1
324 107 4 4 4.5 8.87 0.76 1
316 104 3 3 3.5 8 0.72 1
322 110 3 3.5 2.5 8.67 0.8 1
314 103 2 2 3 8.21 0.45 0 
X_train = data.drop(['Chance of Admit', 'Accept'], axis=1)

y_reg = data['Chance of Admit']

y_cls = data['Accept']
Förklarbar AI i Python

Modellträning

from sklearn.preprocessing import MinMaxScaler
from sklearn.linear_model import LinearRegression, LogisticRegression


scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)


lin_reg = LinearRegression()
lin_reg.fit(X_train_scaled, y_reg)


log_reg = LogisticRegression()
log_reg.fit(X_train_scaled, y_cls)
Förklarbar AI i Python

Beräkna koefficienter

Linjär regression
print(lin_reg.coef_)

[0.03052087 0.01665433 0.00668971 
 0.00326926 0.01724815 0.0661691 ]
Logistisk regression
print(log_reg.coef_)

[[1.28985577  0.49441086  0.47593379 
  0.05434322  0.41800927  1.31980189]]
Förklarbar AI i Python

Visualisera koefficienter

Linjär regression
import matplotlib.pyplot as plt
plt.bar(X_train.columns, lin_reg.coef_)

Ett stapeldiagram över särdragsvikterna som visar att CGPA och GRE-poäng är de viktigaste särdragen.

Logistisk regression
import matplotlib.pyplot as plt
plt.bar(X_train.columns, log_reg.coef_[0])

Ett stapeldiagram över särdragsvikterna som visar att CGPA och GRE-poäng är de viktigaste särdragen.

Förklarbar AI i Python

Nu kör vi en övning!

Förklarbar AI i Python

Preparing Video For Download...