Decision Tree

使用 PySpark 的機器學習

Andrew Collier

Data Scientist, Fathom Data

決策樹結構：根節點

決策樹的根節點。

使用 PySpark 的機器學習

決策樹結構：第一次分裂

只有一次分裂的決策樹

使用 PySpark 的機器學習

決策樹結構：第二次分裂

第二次分裂的決策樹

使用 PySpark 的機器學習

決策樹結構：第三次分裂

第三次分裂的決策樹

使用 PySpark 的機器學習

車款分類

依製造國別分類車款。

+---+----+------+------+----+-----------+----------------------------------+-----+
|cyl|size|mass  |length|rpm |consumption|features                          |label|
+---+----+------+------+----+-----------+----------------------------------+-----+
|6  |3.0 |1451.0|4.775 |5200|9.05       |[6.0,3.0,1451.0,4.775,5200.0,9.05]|1.0  |
|4  |2.2 |1129.0|4.623 |5200|6.53       |[4.0,2.2,1129.0,4.623,5200.0,6.53]|0.0  |
|4  |2.2 |1399.0|4.547 |5600|7.84       |[4.0,2.2,1399.0,4.547,5600.0,7.84]|1.0  |
|4  |1.8 |1147.0|4.343 |6500|7.84       |[4.0,1.8,1147.0,4.343,6500.0,7.84]|0.0  |
|4  |1.6 |1111.0|4.216 |5750|9.05       |[4.0,1.6,1111.0,4.216,5750.0,9.05]|0.0  |
+---+----+------+------+----+-----------+----------------------------------+-----+

label = 0 -> 於 USA 製造
      = 1 -> 於其他地區製造
使用 PySpark 的機器學習

切分訓練/測試集

將資料分成訓練集與測試集。

# Specify a seed for reproducibility
cars_train, cars_test = cars.randomSplit([0.8, 0.2], seed=23)

產生兩個 DataFrame：cars_train 與 cars_test。

[cars_train.count(), cars_test.count()]

[79, 13]
使用 PySpark 的機器學習

建立 Decision Tree 模型

from pyspark.ml.classification import DecisionTreeClassifier

建立一個 Decision Tree 分類器。

tree = DecisionTreeClassifier()

用訓練資料學習。

tree_model = tree.fit(cars_train)
使用 PySpark 的機器學習

評估

在測試資料上做預測並與已知值比較。

prediction = tree_model.transform(cars_test)

+-----+----------+---------------------------------------+
|label|prediction|probability                            |
+-----+----------+---------------------------------------+
|1.0  |0.0       |[0.9615384615384616,0.0384615384615385]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
|0.0  |0.0       |[0.9615384615384616,0.0384615384615385]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
+-----+----------+---------------------------------------+
使用 PySpark 的機器學習

混淆矩陣

混淆矩陣是描述模型在測試資料上表現的表格。

prediction.groupBy("label", "prediction").count().show()

+-----+----------+-----+
|label|prediction|count|
+-----+----------+-----+
|  1.0|       1.0|    8| <- True positive  (TP)
|  0.0|       1.0|    2| <- False positive (FP)
|  1.0|       0.0|    3| <- False negative (FN)
|  0.0|       0.0|    6| <- True negative  (TN)
+-----+----------+-----+

Accuracy = (TN + TP) / (TN + TP + FN + FP) —— 正確預測的比例。

使用 PySpark 的機器學習

一起來建立 Decision Trees！

使用 PySpark 的機器學習

Preparing Video For Download...