Дерево рішень для класифікації

Машинне навчання з деревоподібними моделями в Python

Elie Kawerk

Data Scientist

Огляд курсу

Розд. 1: Classification And Regression Tree (CART)
Розд. 2: Компроміс між зміщенням і розкидом
Розд. 3: Бегінг і Random Forests
Розд. 4: Бустинг
Розд. 5: Налаштування моделі

Дерево класифікації

Послідовність if-else питань щодо окремих ознак.
Мета: визначити мітки класів.
Уловлює нелінійні зв'язки між ознаками та мітками.
Не потребує масштабування ознак (напр., Standardization тощо).

Набір Breast Cancer у 2D

BC2D

Схема дерева рішень

CART-rep

Дерево класифікації у scikit-learn

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# Import train_test_split
from sklearn.model_selection import train_test_split
# Import accuracy_score
from sklearn.metrics import accuracy_score

# Split the dataset into 80% train, 20% test
X_train, X_test, y_train, y_test= train_test_split(X, y, 
                                                   test_size=0.2, 
                                                   stratify=y,
                                                   random_state=1)

# Instantiate dt
dt = DecisionTreeClassifier(max_depth=2, random_state=1)

Дерево класифікації у scikit-learn

# Fit dt to the training set
dt.fit(X_train,y_train) 

# Predict the test set labels
y_pred = dt.predict(X_test)

# Evaluate the test-set accuracy
accuracy_score(y_test, y_pred)

0.90350877192982459

Області рішень

Область рішення: ділянка простору ознак, де всі об'єкти віднесені до одного класу.

Межа рішення: поверхня, що розділяє різні області рішень.

Області рішень: CART vs. лінійна модель

LRvsDT

Давайте потренуємось!

Машинне навчання з деревоподібними моделями в Python