Пояснення моделей без навчання з учителем

Пояснюваний ШІ в Python

Fouad Trad

Machine Learning Engineer

Кластеризація

Групуйте подібні точки даних без заздалегідь заданих міток

Зображення: дані з 2 ознаками поділені на 3 кластери з центроїдами.

Показник силуету

Вимірює якість кластеризації
Діапазон від -1 до 1
- 1 → добре відокремлені кластери

Зображення добре відокремлених кластерів.

Показник силуету

Вимірює якість кластеризації
Діапазон від -1 до 1
- 1 → добре відокремлені кластери
- -1 → точки віднесені неправильно

Зображення кластерів без чіткого розділення.

Вплив ознак на якість кластерів

Зображення результату кластеризації набору з 2 ознаками, поданого в алгоритм кластеризації.

Вплив ознак на якість кластерів

Зображення результату кластеризації після видалення однієї ознаки та повторного навчання моделі.

Вплив ознак на якість кластерів

Зображення формули для обчислення впливу вилученої ознаки як різниці між показниками силуету, коли обидві ознаки присутні, і показником після видалення ознаки.

$\text{Impact(}f) > 0$ → позитивний внесок $f$
$\text{Impact(}f) < 0$ → $f$ додає шум

Набір даних Student Performance

age	health status	absences	G1	G2	G3
18	3	4	0	11	11
17	3	2	9	11	11
15	3	6	12	13	12
15	5	0	14	14	14
16	5	0	11	13	13

X: масив з ознаками

Обчислення впливу ознак на якість кластерів

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score


kmeans = KMeans(n_clusters=2).fit(X)

original_score = silhouette_score(X, kmeans.labels_)


for i in range(X.shape[1]):

    X_reduced = np.delete(X, i, axis=1)

    kmeans.fit(X_reduced)

    new_score = silhouette_score(X_reduced, kmeans.labels_)

    impact = original_score - new_score
    print(f'Feature {column_names[i]}: Impact = {impact}')

Обчислення впливу ознак на якість кластерів

Feature age: Impact = 0.05199181662741281
Feature health status: Impact = 0.06046737420227638
Feature absences: Impact = 0.031290940582026694
Feature G1: Impact = -0.025746421940652353
Feature G2: Impact = -0.02578292339364119
Feature G3: Impact = -0.03163419458330158

Adjusted Rand Index (ARI)

Вимірює, наскільки добре збігаються призначення кластерів

Зображення двох подібних призначень кластерів для одного набору даних.

Максимальний ARI = 1 → ідеальне узгодження кластерів

Adjusted Rand Index (ARI)

Вимірює, наскільки добре збігаються призначення кластерів

Зображення двох різних призначень кластерів для того самого набору даних.

Максимальний ARI = 1 → ідеальне узгодження кластерів
Нижчий ARI → більша відмінність у кластеризаціях

Важливість ознак для призначення кластерів

Видаляйте ознаки по одній
$\text{Importance}(f) = 1 - \text{ARI (original clusters, modifed clusters)}$
Низький $\text(ARI)$ → високий $\text(1 - ARI)$ → важлива ознака

Важливість ознак для призначення кластера

from sklearn.metrics import adjusted_rand_score


kmeans = KMeans(n_clusters=2).fit(X)
original_clusters = kmeans.predict(X)


for i in range(X.shape[1]):

    X_reduced = np.delete(X, i, axis=1)

    reduced_clusters = kmeans.fit_predict(X_reduced)

    importance = 1 - adjusted_rand_score(original_clusters, reduced_clusters)
    print(f'{df.columns[i]}: {importance}')

age: 0.0
health status: 0.9995376368119572
absences: 0.0
G1: 0.0
G2: 0.6204069909514572
G3: 0.6204069909514572

Давайте потренуємось!

Пояснюваний ШІ в Python