回归

使用 PySpark 进行机器学习

Andrew Collier

Data Scientist, Fathom Data

消耗 vs 质量：散点图

燃油消耗与质量的散点图

使用 PySpark 进行机器学习

消耗 vs 质量：拟合

燃油消耗与质量的散点图及线性拟合

使用 PySpark 进行机器学习

消耗 vs 质量：其他拟合

燃油消耗与质量的散点图及线性与其他拟合

使用 PySpark 进行机器学习

消耗 vs 质量：残差

燃油消耗与质量的散点图、线性拟合与残差

使用 PySpark 进行机器学习

损失函数

 

 

均方误差损失函数

MSE = "均方误差"

使用 PySpark 进行机器学习

损失函数：观测值

 

 

均方误差损失函数

$y_i$ — 观测值

使用 PySpark 进行机器学习

损失函数：模型值

 

 

均方误差损失函数

$y_i$ — 观测值

$\hat{y_i}$ — 模型值

使用 PySpark 进行机器学习

损失函数：均值

 

 

均方误差损失函数

$y_i$ — 观测值

$\hat{y_i}$ — 模型值

使用 PySpark 进行机器学习

组装自变量

使用 mass、cyl 和 type_dummy 预测 consumption。

将自变量合并为单列。

+------+---+-------------+----------------------------+-----------+
|mass  |cyl|type_dummy   |features                    |consumption|
+------+---+-------------+----------------------------+-----------+
|1451.0|6  |(5,[0],[1.0])|(7,[0,1,2],[1451.0,6.0,1.0])|9.05       |
|1129.0|4  |(5,[2],[1.0])|(7,[0,1,4],[1129.0,4.0,1.0])|6.53       |
|1399.0|4  |(5,[2],[1.0])|(7,[0,1,4],[1399.0,4.0,1.0])|7.84       |
|1147.0|4  |(5,[1],[1.0])|(7,[0,1,3],[1147.0,4.0,1.0])|7.84       |
|1111.0|4  |(5,[3],[1.0])|(7,[0,1,5],[1111.0,4.0,1.0])|9.05       |
+------+---+-------------+----------------------------+-----------+
使用 PySpark 进行机器学习

构建回归模型

from pyspark.ml.regression import LinearRegression

regression = LinearRegression(labelCol='consumption')

用 cars_train（训练集）拟合。

regression = regression.fit(cars_train)

在 cars_test（测试集）上预测。

predictions = regression.transform(cars_test)
使用 PySpark 进行机器学习

检查预测结果

+-----------+------------------+
|consumption|prediction        |
+-----------+------------------+
|7.84       |8.92699470743403  |
|9.41       |9.379295891451353 |
|8.11       |7.23487264538364  |
|9.05       |9.409860194333735 |
|7.84       |7.059190923328711 |
|7.84       |7.785909738591766 |
|7.59       |8.129959405168547 |
|5.11       |6.836843743852942 |
|8.11       |7.17173702652015  |
+-----------+------------------+

预测值与真实值的散点图

使用 PySpark 进行机器学习

计算 RMSE

from pyspark.ml.evaluation import RegressionEvaluator

# Find RMSE (Root Mean Squared Error)
RegressionEvaluator(labelCol='consumption').evaluate(predictions)

0.708699086182001

RegressionEvaluator 还可计算：

  • mae（平均绝对误差）
  • r2（$R^2$）
  • mse（均方误差）。
使用 PySpark 进行机器学习

消耗 vs 质量：截距

显示模型截距的图

使用 PySpark 进行机器学习

查看截距

regression.intercept

4.9450616833727095

这是（假设）以下情况下的油耗：

  • mass = 0
  • cyl = 0，且
  • 车型为"Van"。
使用 PySpark 进行机器学习

消耗 vs 质量：斜率

显示模型斜率的图

使用 PySpark 进行机器学习

查看系数

regression.coefficients

DenseVector([0.0027, 0.1897, -1.309, -1.7933, -1.3594, -1.2917, -1.9693])

mass        0.0027
cyl         0.1897

Midsize    -1.3090
Small      -1.7933
Compact    -1.3594
Sporty     -1.2917
Large      -1.9693
使用 PySpark 进行机器学习

用于数值预测的回归

使用 PySpark 进行机器学习

Preparing Video For Download...