Logistisk regression och regularisering

Linjära klassificerare i Python

Michael (Mike) Gelbart

Instructor, The University of British Columbia

Regulariserad logistisk regression

Linjära klassificerare i Python

Regulariserad logistisk regression

Linjära klassificerare i Python

Hur påverkar regularisering träningsnoggrannheten?

lr_weak_reg = LogisticRegression(C=100)
lr_strong_reg = LogisticRegression(C=0.01)


lr_weak_reg.fit(X_train, y_train)
lr_strong_reg.fit(X_train, y_train)


lr_weak_reg.score(X_train, y_train)
lr_strong_reg.score(X_train, y_train)

1.0
0.92

$\text{regularized loss = original loss + large coefficient penalty}$

  • mer regularisering: lägre träningsnoggrannhet
Linjära klassificerare i Python

Hur påverkar regularisering testnoggrannheten?

lr_weak_reg.score(X_test, y_test)

0.86

lr_strong_reg.score(X_test, y_test)

0.88

$\text{regularized loss = original loss + large coefficient penalty}$

  • mer regularisering: lägre träningsnoggrannhet
  • mer regularisering: (nästan alltid) högre testnoggrannhet
Linjära klassificerare i Python

L1 vs. L2-regularisering

  • Lasso = linjär regression med L1-regularisering
  • Ridge = linjär regression med L2-regularisering
  • För andra modeller som logistisk regression används bara beteckningarna L1, L2 osv.
lr_L1 = LogisticRegression(solver='liblinear', penalty='l1')
lr_L2 = LogisticRegression() # penalty='l2' by default

lr_L1.fit(X_train, y_train)
lr_L2.fit(X_train, y_train)

plt.plot(lr_L1.coef_.flatten())
plt.plot(lr_L2.coef_.flatten())
Linjära klassificerare i Python

L2 vs. L1-regularisering

Linjära klassificerare i Python

Nu kör vi en övning!

Linjära klassificerare i Python

Preparing Video For Download...