Keterjelasan pada model berbasis pohon

Explainable AI in Python

Fouad Trad

Machine Learning Engineer

Decision tree

Blok dasar model berbasis pohon
Untuk regresi dan klasifikasi
Struktur seperti pohon untuk prediksi
- Beberapa keputusan
- Tiap keputusan berbasis satu fitur
Secara bawaan mudah dijelaskan

Representasi pohon keputusan yang menunjukkan prediksi dibuat dari beberapa kondisi

Random forest

Terdiri dari banyak pohon keputusan
Untuk regresi dan klasifikasi
Menyulitkan interpretasi langsung
Feature importance
- Mengukur pengurangan ketidakpastian prediksi
- Berbeda dari koefisien pada model linear

Gambar random forest sebagai kumpulan pohon yang menerima sebuah instance dan menggabungkan prediksi untuk hasil akhir.

Dataset penerimaan

Skor GRE	Skor TOEFL	Peringkat Universitas	SOP	LOR	CGPA	Diterima
337	118	4	4.5	4.5	9.65	1
324	107	4	4	4.5	8.87	1
316	104	3	3	3.5	8.00	1
322	110	3	3.5	2.5	8.67	1
314	103	2	2	3	8.21	0

X_train = data.drop(['Accept'], axis=1)
y_train = data['Accept']

Pelatihan model

from sklearn.tree import DecisionTreeClassifier


tree_model = DecisionTreeClassifier()
tree_model.fit(X_train, y_train)


print(tree_model.feature_importances_)

[0.17936982 0.08878744 0.04388924 
 0.0532897  0.07130751 0.56335628]

from sklearn.ensemble import RandomForestClassifier


forest_model = RandomForestClassifier()
forest_model.fit(X_train, y_train)


print(forest_model.feature_importances_)

[0.25347149 0.17518662 0.06551317 
 0.06758647 0.07866478 0.35957747]

Feature importance

import matplotlib.pyplot as plt

plt.barh(X_train.columns, 
         tree_model.feature_importances_)
plt.title('Feature Importance - Decision Tree')
plt.show()

Plot batang horizontal yang menunjukkan CGPA dan skor GRE sebagai fitur terpenting.

import matplotlib.pyplot as plt

plt.barh(X_train.columns, 
         forest_model.feature_importances_)
plt.title('Feature Importance - Random Forest')
plt.show()

Plot batang horizontal yang menunjukkan CGPA dan skor GRE sebagai fitur terpenting.

Ayo berlatih!

Explainable AI in Python