Erklärbarkeit in baumbasierten Modellen

Erklärbare KI in Python

Fouad Trad

Machine Learning Engineer

Entscheidungsbaum

  • Grundbaustein baumbasierter Modelle
  • Für Regression und Klassifikation
  • Baumstruktur für Vorhersagen
    • Mehrere Entscheidungen
    • Jede Entscheidung basiert auf einem Feature
  • Von Natur aus erklärbar

Darstellung eines Entscheidungsbaums, der zeigt, wie Vorhersagen auf mehreren Bedingungen beruhen

Erklärbare KI in Python

Random Forest

  • Besteht aus vielen Entscheidungsbäumen
  • Für Regression und Klassifikation
  • Erschwert direkte Interpretierbarkeit
  • Feature Importance
    • Misst die Reduktion der Unsicherheit in Vorhersagen
    • Anders als Koeffizienten in linearen Modellen

Abbildung: Random Forest als Sammlung von Bäumen, die eine Instanz erhalten und die Vorhersagen zu einer finalen Vorhersage aggregieren.

Erklärbare KI in Python

Admissions-Datensatz

GRE-Score TOEFL-Score Uni-Rating SOP LOR CGPA Zulassung
337 118 4 4.5 4.5 9.65 1
324 107 4 4 4.5 8.87 1
316 104 3 3 3.5 8.00 1
322 110 3 3.5 2.5 8.67 1
314 103 2 2 3 8.21 0 
X_train = data.drop(['Accept'], axis=1)
y_train = data['Accept']
Erklärbare KI in Python

Modelltraining

from sklearn.tree import DecisionTreeClassifier


tree_model = DecisionTreeClassifier()
tree_model.fit(X_train, y_train)


print(tree_model.feature_importances_)

[0.17936982 0.08878744 0.04388924 
 0.0532897  0.07130751 0.56335628]

from sklearn.ensemble import RandomForestClassifier


forest_model = RandomForestClassifier()
forest_model.fit(X_train, y_train)


print(forest_model.feature_importances_)

[0.25347149 0.17518662 0.06551317 
 0.06758647 0.07866478 0.35957747]
Erklärbare KI in Python

Feature Importance

import matplotlib.pyplot as plt

plt.barh(X_train.columns, 
         tree_model.feature_importances_)
plt.title('Feature Importance - Decision Tree')
plt.show()

Ein horizontales Balkendiagramm der Wichtigkeiten. CGPA und GRE-Score sind am wichtigsten.

import matplotlib.pyplot as plt

plt.barh(X_train.columns, 
         forest_model.feature_importances_)
plt.title('Feature Importance - Random Forest')
plt.show()

Ein horizontales Balkendiagramm der Wichtigkeiten. CGPA und GRE-Score sind am wichtigsten.

Erklärbare KI in Python

Lass uns üben!

Erklärbare KI in Python

Preparing Video For Download...