决策树

使用 PySpark 进行机器学习

Andrew Collier

Data Scientist, Fathom Data

决策树结构：根节点

决策树的根节点。

使用 PySpark 进行机器学习

决策树结构：首次分裂

只有一次分裂的决策树

使用 PySpark 进行机器学习

决策树结构：第二次分裂

第二次分裂的决策树

使用 PySpark 进行机器学习

决策树结构：第三次分裂

第三次分裂的决策树

使用 PySpark 进行机器学习

汽车分类

按产地对汽车进行分类。

+---+----+------+------+----+-----------+----------------------------------+-----+
|cyl|size|mass  |length|rpm |consumption|features                          |label|
+---+----+------+------+----+-----------+----------------------------------+-----+
|6  |3.0 |1451.0|4.775 |5200|9.05       |[6.0,3.0,1451.0,4.775,5200.0,9.05]|1.0  |
|4  |2.2 |1129.0|4.623 |5200|6.53       |[4.0,2.2,1129.0,4.623,5200.0,6.53]|0.0  |
|4  |2.2 |1399.0|4.547 |5600|7.84       |[4.0,2.2,1399.0,4.547,5600.0,7.84]|1.0  |
|4  |1.8 |1147.0|4.343 |6500|7.84       |[4.0,1.8,1147.0,4.343,6500.0,7.84]|0.0  |
|4  |1.6 |1111.0|4.216 |5750|9.05       |[4.0,1.6,1111.0,4.216,5750.0,9.05]|0.0  |
+---+----+------+------+----+-----------+----------------------------------+-----+

label = 0 -> 美国制造
      = 1 -> 其他地区制造
使用 PySpark 进行机器学习

划分训练/测试集

将数据拆分为训练集和测试集。

# Specify a seed for reproducibility
cars_train, cars_test = cars.randomSplit([0.8, 0.2], seed=23)

两个 DataFrame：cars_train 和 cars_test。

[cars_train.count(), cars_test.count()]

[79, 13]
使用 PySpark 进行机器学习

构建决策树模型

from pyspark.ml.classification import DecisionTreeClassifier

创建一个决策树分类器。

tree = DecisionTreeClassifier()

用训练数据进行学习。

tree_model = tree.fit(cars_train)
使用 PySpark 进行机器学习

评估

在测试集上预测，并与已知值对比。

prediction = tree_model.transform(cars_test)

+-----+----------+---------------------------------------+
|label|prediction|probability                            |
+-----+----------+---------------------------------------+
|1.0  |0.0       |[0.9615384615384616,0.0384615384615385]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
|0.0  |0.0       |[0.9615384615384616,0.0384615384615385]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
+-----+----------+---------------------------------------+
使用 PySpark 进行机器学习

混淆矩阵

混淆矩阵是描述模型在测试集上表现的表。

prediction.groupBy("label", "prediction").count().show()

+-----+----------+-----+
|label|prediction|count|
+-----+----------+-----+
|  1.0|       1.0|    8| <- 真正例（TP）
|  0.0|       1.0|    2| <- 假正例（FP）
|  1.0|       0.0|    3| <- 假负例（FN）
|  0.0|       0.0|    6| <- 真负例（TN）
+-----+----------+-----+

准确率 = (TN + TP) / (TN + TP + FN + FP) —— 正确预测的比例。

使用 PySpark 进行机器学习

来构建决策树！

使用 PySpark 进行机器学习

Preparing Video For Download...