의사결정나무

PySpark로 하는 Machine Learning

Andrew Collier

Data Scientist, Fathom Data

의사결정나무 구조: 루트 노드

의사결정나무의 루트 노드.

PySpark로 하는 Machine Learning

의사결정나무 구조: 첫 분할

단일 분할이 있는 의사결정나무

PySpark로 하는 Machine Learning

의사결정나무 구조: 두 번째 분할

두 번째 분할이 있는 의사결정나무

PySpark로 하는 Machine Learning

의사결정나무 구조: 세 번째 분할

세 번째 분할이 있는 의사결정나무

PySpark로 하는 Machine Learning

자동차 분류

자동차를 제조국가로 분류합니다.

+---+----+------+------+----+-----------+----------------------------------+-----+
|cyl|size|mass  |length|rpm |consumption|features                          |label|
+---+----+------+------+----+-----------+----------------------------------+-----+
|6  |3.0 |1451.0|4.775 |5200|9.05       |[6.0,3.0,1451.0,4.775,5200.0,9.05]|1.0  |
|4  |2.2 |1129.0|4.623 |5200|6.53       |[4.0,2.2,1129.0,4.623,5200.0,6.53]|0.0  |
|4  |2.2 |1399.0|4.547 |5600|7.84       |[4.0,2.2,1399.0,4.547,5600.0,7.84]|1.0  |
|4  |1.8 |1147.0|4.343 |6500|7.84       |[4.0,1.8,1147.0,4.343,6500.0,7.84]|0.0  |
|4  |1.6 |1111.0|4.216 |5750|9.05       |[4.0,1.6,1111.0,4.216,5750.0,9.05]|0.0  |
+---+----+------+------+----+-----------+----------------------------------+-----+

label = 0 -> 미국산
      = 1 -> 기타 국가산
PySpark로 하는 Machine Learning

학습/테스트 분할

데이터를 학습용과 테스트용으로 분할합니다.

# Specify a seed for reproducibility
cars_train, cars_test = cars.randomSplit([0.8, 0.2], seed=23)

두 개의 DataFrame: cars_train, cars_test.

[cars_train.count(), cars_test.count()]

[79, 13]
PySpark로 하는 Machine Learning

의사결정나무 모델 구축

from pyspark.ml.classification import DecisionTreeClassifier

의사결정나무 분류기를 생성합니다.

tree = DecisionTreeClassifier()

학습 데이터로 학습합니다.

tree_model = tree.fit(cars_train)
PySpark로 하는 Machine Learning

평가

테스트 데이터에 예측을 수행하고 실제값과 비교합니다.

prediction = tree_model.transform(cars_test)

+-----+----------+---------------------------------------+
|label|prediction|probability                            |
+-----+----------+---------------------------------------+
|1.0  |0.0       |[0.9615384615384616,0.0384615384615385]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
|0.0  |0.0       |[0.9615384615384616,0.0384615384615385]|
|1.0  |1.0       |[0.2222222222222222,0.7777777777777778]|
+-----+----------+---------------------------------------+
PySpark로 하는 Machine Learning

혼동 행렬

혼동 행렬은 테스트 데이터에서 모델 성능을 요약한 표입니다.

prediction.groupBy("label", "prediction").count().show()

+-----+----------+-----+
|label|prediction|count|
+-----+----------+-----+
|  1.0|       1.0|    8| <- True positive  (TP)
|  0.0|       1.0|    2| <- False positive (FP)
|  1.0|       0.0|    3| <- False negative (FN)
|  0.0|       0.0|    6| <- True negative  (TN)
+-----+----------+-----+

정확도 = (TN + TP) / (TN + TP + FN + FP) — 올바른 예측의 비율.

PySpark로 하는 Machine Learning

의사결정나무를 만들어 봅시다!

PySpark로 하는 Machine Learning

Preparing Video For Download...