Liaison des clusters et aspects pratiques

Apprentissage non supervisé en R

Hank Roark

Senior Data Scientist at Boeing

Lier des clusters en classification hiérarchique

Comment mesure-t-on la distance entre clusters ? Quelles règles ?
Quatre méthodes pour décider quels clusters lier
- Complete : similarité par paires entre toutes les observations des clusters 1 et 2, et utilise la plus grande similarité
- Single : idem, mais utilise la plus petite similarité
- Average : idem, mais utilise la similarité moyenne
- Centroid : calcule le centroïde des clusters 1 et 2 et utilise la similarité entre les deux centroïdes

Méthodes de liaison : complete et average

dendrogrammes complete et average

Méthode de liaison : single

dendrogramme single

Méthode de liaison : centroid

dendrogramme centroid

Liaison dans R

# Ajuster des modèles hiérarchiques avec différentes méthodes
hclust.complete <- hclust(d, method = "complete")
hclust.average <- hclust(d, method = "average")
hclust.single <- hclust(d, method = "single")

Aspects pratiques

Des variables sur des échelles différentes peuvent fausser le clustering
Solution : mettre à l'échelle pour que les variables aient même moyenne et écart-type
- Soustraire la moyenne d'une variable à toutes ses observations
- Diviser chaque variable par son écart-type
- Les variables normalisées ont une moyenne de zéro et un écart-type de un

Aspects pratiques

# Vérifier si une mise à l'échelle est nécessaire
colMeans(x)

-0.1337828  0.0594019

apply(x, 2, sd)

1.974376 2.112357

Aspects pratiques

# Produire une nouvelle matrice avec colonnes de moyenne 0 et écart-type 1
scaled_x <- scale(x)
colMeans(scaled_x)

2.775558e-17 3.330669e-17

apply(scaled_x, 2, sd)

1 1

Passons à la pratique !

Apprentissage non supervisé en R