Arbore de decizie pentru clasificare

Machine Learning cu modele bazate pe arbori în Python

Elie Kawerk

Data Scientist

Prezentarea cursului

  • Cap. 1: Arbori de clasificare și regresie (CART)

  • Cap. 2: Compromisul bias-varianță

  • Cap. 3: Bagging și păduri aleatoare

  • Cap. 4: Boosting

  • Cap. 5: Ajustarea modelelor

Machine Learning cu modele bazate pe arbori în Python

Arbore de clasificare

  • Secvență de întrebări de tip if-else despre caracteristici individuale.

  • Obiectiv: inferarea etichetelor de clasă.

  • Captează relații neliniare între caracteristici și etichete.

  • Nu necesită scalarea caracteristicilor (ex: standardizare, ..)

Machine Learning cu modele bazate pe arbori în Python

Setul de date cancer mamar în 2D

BC2D

Machine Learning cu modele bazate pe arbori în Python

Diagrama arborelui de decizie

CART-rep

Machine Learning cu modele bazate pe arbori în Python

Arbore de clasificare în scikit-learn

# Import DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# Import train_test_split
from sklearn.model_selection import train_test_split
# Import accuracy_score
from sklearn.metrics import accuracy_score

# Split the dataset into 80% train, 20% test
X_train, X_test, y_train, y_test= train_test_split(X, y, 
                                                   test_size=0.2, 
                                                   stratify=y,
                                                   random_state=1)

# Instantiate dt
dt = DecisionTreeClassifier(max_depth=2, random_state=1)
Machine Learning cu modele bazate pe arbori în Python

Arbore de clasificare în scikit-learn

# Fit dt to the training set
dt.fit(X_train,y_train) 

# Predict the test set labels
y_pred = dt.predict(X_test)

# Evaluate the test-set accuracy
accuracy_score(y_test, y_pred)

0.90350877192982459
Machine Learning cu modele bazate pe arbori în Python

Regiuni de decizie

Regiune de decizie: zonă din spațiul caracteristicilor unde toate instanțele sunt atribuite unei singure clase.

Frontieră de decizie: suprafață care separă regiunile de decizie.

Regiuni de decizie

Machine Learning cu modele bazate pe arbori în Python

Regiuni de decizie: CART vs. model liniar

RLvsDT

Machine Learning cu modele bazate pe arbori în Python

Să exersăm!

Machine Learning cu modele bazate pe arbori în Python

Preparing Video For Download...