Regresia regularizată

Învățare supravegheată cu scikit-learn

George Boorman

Core Curriculum Manager, DataCamp

De ce regularizăm?

Recapitulare: regresia liniară minimizează o funcție de pierdere
Alege un coeficient, $a$, pentru fiecare variabilă, plus $b$
Coeficienții mari pot duce la supraajustare
Regularizare: penalizarea coeficienților mari

Regresia ridge

Funcție de pierdere = funcția de pierdere OLS + $$ \alpha * \sum_{i=1}^{n} {a_i}^2$$
Ridge penalizează coeficienții mari pozitivi sau negativi
$\alpha$: parametru pe care trebuie să îl alegem
Alegerea lui $\alpha$ este similară cu alegerea k în KNN
Hiperparametru: variabilă folosită pentru a optimiza parametrii modelului
$\alpha$ controlează complexitatea modelului
- $\alpha$ = 0 = OLS (poate duce la supraajustare)
- $\alpha$ foarte mare: poate duce la subajustare

Regresia ridge în scikit-learn

from sklearn.linear_model import Ridge

scores = []
for alpha in [0.1, 1.0, 10.0, 100.0, 1000.0]:

    ridge = Ridge(alpha=alpha)

    ridge.fit(X_train, y_train)
    y_pred = ridge.predict(X_test)

    scores.append(ridge.score(X_test, y_test))

print(scores)

[0.2828466623222221, 0.28320633574804777, 0.2853000732200006, 
 0.26423984812668133, 0.19292424694100963]

Regresia lasso

Funcție de pierdere = funcția de pierdere OLS + $$ \alpha * \sum_{i=1}^{n} |a_i|$$

Regresia lasso în scikit-learn

from sklearn.linear_model import Lasso

scores = []
for alpha in [0.01, 1.0, 10.0, 20.0, 50.0]:
  lasso = Lasso(alpha=alpha)
  lasso.fit(X_train, y_train)
  lasso_pred = lasso.predict(X_test)
  scores.append(lasso.score(X_test, y_test))
print(scores)

[0.99991649071123, 0.99961700284223, 0.93882227671069, 0.74855318676232, -0.05741034640016]

Regresia lasso pentru selecția caracteristicilor

Lasso poate selecta caracteristicile importante ale unui set de date
Reduce coeficienții caracteristicilor mai puțin importante la zero
Caracteristicile nereduse la zero sunt selectate de lasso

Lasso pentru selecția caracteristicilor în scikit-learn

from sklearn.linear_model import Lasso

X = diabetes_df.drop("glucose", axis=1).values
y = diabetes_df["glucose"].values
names = diabetes_df.drop("glucose", axis=1).columns

lasso = Lasso(alpha=0.1)

lasso_coef = lasso.fit(X, y).coef_

plt.bar(names, lasso_coef)
plt.xticks(rotation=45)
plt.show()

Lasso pentru selecția caracteristicilor în scikit-learn

diagramă cu bare a coeficienților pentru fiecare caracteristică, toate aproape de zero, cu excepția diabetului cu valoarea 25

Să exersăm!

Învățare supravegheată cu scikit-learn