Regresja z regularyzacją

Nadzorowane uczenie maszynowe z scikit-learn

George Boorman

Core Curriculum Manager, DataCamp

Dlaczego stosować regularyzację?

Przypomnijmy: regresja liniowa minimalizuje funkcję straty
Dla każdej zmiennej wybiera współczynnik $a$ oraz $b$
Duże współczynniki mogą prowadzić do przeuczenia
Regularyzacja: karanie za duże współczynniki

Regresja ridge

Funkcja straty = funkcja straty OLS + $$ \alpha * \sum_{i=1}^{n} {a_i}^2$$
Ridge karze za duże współczynniki (dodatnie lub ujemne)
$\alpha$: parametr do wyboru
Dobór $\alpha$ przypomina dobór k w KNN
Hiperparametr: zmienna służąca do optymalizacji parametrów modelu
$\alpha$ kontroluje złożoność modelu
- $\alpha$ = 0 = OLS (może prowadzić do przeuczenia)
- Bardzo duże $\alpha$: może prowadzić do niedouczenia

Regresja ridge w scikit-learn

from sklearn.linear_model import Ridge

scores = []
for alpha in [0.1, 1.0, 10.0, 100.0, 1000.0]:

    ridge = Ridge(alpha=alpha)

    ridge.fit(X_train, y_train)
    y_pred = ridge.predict(X_test)

    scores.append(ridge.score(X_test, y_test))

print(scores)

[0.2828466623222221, 0.28320633574804777, 0.2853000732200006, 
 0.26423984812668133, 0.19292424694100963]

Regresja lasso

Funkcja straty = funkcja straty OLS + $$ \alpha * \sum_{i=1}^{n} |a_i|$$

Regresja lasso w scikit-learn

from sklearn.linear_model import Lasso

scores = []
for alpha in [0.01, 1.0, 10.0, 20.0, 50.0]:
  lasso = Lasso(alpha=alpha)
  lasso.fit(X_train, y_train)
  lasso_pred = lasso.predict(X_test)
  scores.append(lasso.score(X_test, y_test))
print(scores)

[0.99991649071123, 0.99961700284223, 0.93882227671069, 0.74855318676232, -0.05741034640016]

Regresja lasso do selekcji cech

Lasso może wybierać ważne cechy zbioru danych
Zmniejsza współczynniki mniej istotnych cech do zera
Cechy, których współczynniki nie zostały wyzerowane, są wybierane przez lasso

Lasso do selekcji cech w scikit-learn

from sklearn.linear_model import Lasso

X = diabetes_df.drop("glucose", axis=1).values
y = diabetes_df["glucose"].values
names = diabetes_df.drop("glucose", axis=1).columns

lasso = Lasso(alpha=0.1)

lasso_coef = lasso.fit(X, y).coef_

plt.bar(names, lasso_coef)
plt.xticks(rotation=45)
plt.show()

Lasso do selekcji cech w scikit-learn

wykres słupkowy współczynników dla każdej cechy, wszystkie bliskie zeru oprócz diabetes z wartością 25

Czas na ćwiczenia!

Nadzorowane uczenie maszynowe z scikit-learn