Drzewo decyzyjne dla klasyfikacji

Uczenie maszynowe z modelami drzewiastymi w Pythonie

Elie Kawerk

Data Scientist

Przegląd kursu

Rozdz. 1: Drzewa klasyfikacyjne i regresyjne (CART)
Rozdz. 2: Kompromis między obciążeniem a wariancją
Rozdz. 3: Bagging i lasy losowe
Rozdz. 4: Boosting
Rozdz. 5: Strojenie modelu

Drzewo klasyfikacyjne

Ciąg pytań warunkowych dotyczących poszczególnych cech.
Cel: wyznaczenie etykiet klas.
Potrafi wykrywać nieliniowe zależności między cechami a etykietami.
Nie wymaga skalowania cech (np. standaryzacji).

Zbiór danych raka piersi w 2D

Zbiór danych raka piersi 2D

Diagram drzewa decyzyjnego

Diagram CART

Drzewo klasyfikacyjne w scikit-learn

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# Import train_test_split
from sklearn.model_selection import train_test_split
# Import accuracy_score
from sklearn.metrics import accuracy_score

# Split the dataset into 80% train, 20% test
X_train, X_test, y_train, y_test= train_test_split(X, y, 
                                                   test_size=0.2, 
                                                   stratify=y,
                                                   random_state=1)

# Instantiate dt
dt = DecisionTreeClassifier(max_depth=2, random_state=1)

Drzewo klasyfikacyjne w scikit-learn

# Fit dt to the training set
dt.fit(X_train,y_train) 

# Predict the test set labels
y_pred = dt.predict(X_test)

# Evaluate the test-set accuracy
accuracy_score(y_test, y_pred)

0.90350877192982459

Regiony decyzyjne

Region decyzyjny: obszar w przestrzeni cech, w którym wszystkie instancje są przypisane do jednej klasy.

Granica decyzyjna: powierzchnia rozdzielająca różne regiony decyzyjne.

Region decyzyjny

Regiony decyzyjne: CART vs. model liniowy

LRvsDT

Czas na ćwiczenia!

Uczenie maszynowe z modelami drzewiastymi w Pythonie