邏輯斯迴歸與正則化

Python 中的線性分類器

Michael (Mike) Gelbart

Instructor, The University of British Columbia

正則化的邏輯斯迴歸

正則化如何影響訓練正確率？

lr_weak_reg = LogisticRegression(C=100)
lr_strong_reg = LogisticRegression(C=0.01)


lr_weak_reg.fit(X_train, y_train)
lr_strong_reg.fit(X_train, y_train)


lr_weak_reg.score(X_train, y_train)
lr_strong_reg.score(X_train, y_train)

1.0
0.92

$\text{regularized loss = original loss + large coefficient penalty}$

正則化越強：訓練正確率越低

正則化如何影響測試正確率？

lr_weak_reg.score(X_test, y_test)

0.86

lr_strong_reg.score(X_test, y_test)

0.88

$\text{regularized loss = original loss + large coefficient penalty}$

正則化越強：訓練正確率越低
正則化越強：（幾乎總是）測試正確率更高

L1 與 L2 正則化

Lasso = 加上 L1 正則化的線性迴歸
Ridge = 加上 L2 正則化的線性迴歸
其他模型（如邏輯斯迴歸）直接說 L1、L2 等。

lr_L1 = LogisticRegression(solver='liblinear', penalty='l1')
lr_L2 = LogisticRegression() # penalty='l2' by default

lr_L1.fit(X_train, y_train)
lr_L2.fit(X_train, y_train)

plt.plot(lr_L1.coef_.flatten())
plt.plot(lr_L2.coef_.flatten())

L2 與 L1 正則化

一起來練習吧！

Python 中的線性分類器