Pohon Keputusan untuk Klasifikasi

Machine Learning dengan Model Berbasis Pohon di Python

Elie Kawerk

Data Scientist

Gambaran Umum Kursus

Bab 1: Classification And Regression Tree (CART)
Bab 2: Bias-Variance Tradeoff
Bab 3: Bagging dan Random Forests
Bab 4: Boosting
Bab 5: Penyetelan Model

Pohon klasifikasi

Rangkaian pertanyaan if-else tentang tiap fitur.
Tujuan: menebak label kelas.
Dapat menangkap hubungan non-linear antara fitur dan label.
Tidak perlu penskalaan fitur (mis: standardization, dll.)

Dataset Kanker Payudara dalam 2D

BC2D

Diagram Pohon Keputusan

CART-rep

Pohon klasifikasi di scikit-learn

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# Import train_test_split
from sklearn.model_selection import train_test_split
# Import accuracy_score
from sklearn.metrics import accuracy_score

# Bagi dataset: 80% train, 20% test
X_train, X_test, y_train, y_test= train_test_split(X, y, 
                                                   test_size=0.2, 
                                                   stratify=y,
                                                   random_state=1)

# Inisialisasi dt
dt = DecisionTreeClassifier(max_depth=2, random_state=1)

Pohon klasifikasi di scikit-learn

# Latih dt pada train set
dt.fit(X_train,y_train) 

# Prediksi label test set
y_pred = dt.predict(X_test)

# Evaluasi akurasi test set
accuracy_score(y_test, y_pred)

0.90350877192982459

Wilayah Keputusan

Wilayah keputusan: area pada ruang fitur di mana semua instance diberi satu label kelas.

Batas keputusan: permukaan yang memisahkan wilayah keputusan berbeda.

Wilayah Keputusan: CART vs. Model Linear

LRvsDT

Ayo berlatih!

Machine Learning dengan Model Berbasis Pohon di Python