Regularisierung

Maschinelles Lernen mit PySpark

Andrew Collier

Data Scientist, Fathom Data

Features: nur wenige

Datensatz mit wenigen Features

Maschinelles Lernen mit PySpark

Features: zu viele

Datensatz mit vielen Features

Maschinelles Lernen mit PySpark

Features: ausgewählt

Auswahl von Features aus einem Datensatz mit vielen Features

Maschinelles Lernen mit PySpark

Loss-Funktion (erneut)

Lineare Regression minimiert die MSE.

Loss-Funktion der mittleren quadratischen Abweichung

Maschinelles Lernen mit PySpark

Loss-Funktion mit Regularisierung

Lineare Regression minimiert die MSE.

Loss-Funktion der mittleren quadratischen Abweichung mit Regularisierungsterm

Füge einen Regularisierungs-Term hinzu, der von den Koeffizienten abhängt.

Maschinelles Lernen mit PySpark

Regularisierungsterm

Ein zusätzlicher Regularisierungs-Term wird zur Loss-Funktion addiert.

Der Regularisierungsterm kann entweder

  • Lasso — absoluter Betrag der Koeffizienten
  • Ridge — Quadrat der Koeffizienten

Es ist auch möglich, Lasso und Ridge zu mischen.

Stärke der Regularisierung über den Parameter $\lambda$:

  • $\lambda = 0$ — keine Regularisierung (Standardregression)
  • $\lambda = \infty$ — vollständige Regularisierung (alle Koeffizienten null)
Maschinelles Lernen mit PySpark

Wieder Autos

assembler = VectorAssembler(inputCols=[
    'mass', 'cyl', 'type_dummy', 'density_line', 'density_quad', 'density_cube'
], outputCol='features')
cars = assembler.transform(cars)

+-----------------------------------------------------------------------------+-----------+
|features                                                                     |consumption|
+-----------------------------------------------------------------------------+-----------+
|[1451.0,6.0,1.0,0.0,0.0,0.0,0.0,303.8743455497,63.63860639785,13.32745683724]|9.05       |
|[1129.0,4.0,0.0,0.0,1.0,0.0,0.0,244.2137140385,52.82580879050,11.42673778726]|6.53       |
|[1399.0,4.0,0.0,0.0,1.0,0.0,0.0,307.6753903672,67.66557958374,14.88136784335]|7.84       |
|[1147.0,4.0,0.0,1.0,0.0,0.0,0.0,264.1031545014,60.81122599620,14.00212433714]|7.84       |
+-----------------------------------------------------------------------------+-----------+
Maschinelles Lernen mit PySpark

Autos: Lineare Regression

Passe ein (standard-)lineares Regressionsmodell auf die Trainingsdaten an.

regression = LinearRegression(labelCol='consumption').fit(cars_train)

# RMSE auf Testdaten
0.708699086182001

Untersuche die Koeffizienten:

regression.coefficients

DenseVector([-0.012, 0.174, -0.897, -1.445, -0.985, -1.071, -1.335, 0.189, -0.780, 1.160])
Maschinelles Lernen mit PySpark

Autos: Ridge-Regression

# alpha = 0 | lambda = 0.1 -> Ridge
ridge = LinearRegression(labelCol='consumption', elasticNetParam=0, regParam=0.1)
ridge.fit(cars_train)

# RMSE
0.724535609745491

# Ridge-Koeffizienten
DenseVector([ 0.001, 0.137, -0.395, -0.822, -0.450, -0.582, -0.806, 0.008,  0.029, 0.001])
# Lineare-Regression-Koeffizienten
DenseVector([-0.012, 0.174, -0.897, -1.445, -0.985, -1.071, -1.335, 0.189, -0.780, 1.160])
Maschinelles Lernen mit PySpark

Autos: Lasso-Regression

# alpha = 1 | lambda = 0.1 -> Lasso
lasso = LinearRegression(labelCol='consumption', elasticNetParam=1, regParam=0.1)
lasso.fit(cars_train)

# RMSE
0.771988667026998

# Lasso-Koeffizienten
DenseVector([   0.0,   0.0,    0.0, -0.056,    0.0,    0.0,    0.0, 0.026,    0.0,   0.0])
# Ridge-Koeffizienten
DenseVector([ 0.001, 0.137, -0.395, -0.822, -0.450, -0.582, -0.806, 0.008,  0.029, 0.001])
# Lineare-Regression-Koeffizienten
DenseVector([-0.012, 0.174, -0.897, -1.445, -0.985, -1.071, -1.335, 0.189, -0.780, 1.160])
Maschinelles Lernen mit PySpark

Regularisierung → einfaches Modell

Maschinelles Lernen mit PySpark

Preparing Video For Download...