Méthodes de liaison et aspects pratiques du clustering

Apprentissage non supervisé en R

Hank Roark

Senior Data Scientist at Boeing

Lier des grappes en classification hiérarchique

Comment mesure-t-on la distance entre grappes ? Quelles règles ?
Quatre méthodes pour décider quelles grappes lier
- Complète : similarité par paires entre toutes les observations des grappes 1 et 2, puis plus grande similarité
- Simple : comme ci-dessus, mais plus petite similarité
- Moyenne : comme ci-dessus, mais moyenne des similarités
- Centroïde : trouve le centroïde des grappes 1 et 2, puis similarité entre les deux centroïdes

Méthodes de liaison : complète et moyenne

dendrogrammes complète et moyenne

Méthode de liaison : simple

dendrogramme simple

Méthode de liaison : centroïde

dendrogramme centroïde

Liaison en R

# Ajuster des modèles de classification hiérarchique avec différentes méthodes
hclust.complete <- hclust(d, method = "complete")
hclust.average <- hclust(d, method = "average")
hclust.single <- hclust(d, method = "single")

Aspects pratiques

Des échelles différentes peuvent nuire aux méthodes de clustering
Solution : mettre à l'échelle pour des moyennes et écarts-types identiques
- Soustraire la moyenne de la caractéristique à toutes les observations
- Diviser chaque caractéristique par son écart-type
- Les caractéristiques normalisées ont une moyenne de zéro et un écart-type de un

Aspects pratiques

# Vérifier si la mise à l'échelle est nécessaire
colMeans(x)

-0.1337828  0.0594019

apply(x, 2, sd)

1.974376 2.112357

Aspects pratiques

# Produire une nouvelle matrice avec des colonnes de moyenne 0 et d'écart-type 1
scaled_x <- scale(x)
colMeans(scaled_x)

2.775558e-17 3.330669e-17

apply(scaled_x, 2, sd)

1 1

Passons à la pratique !

Apprentissage non supervisé en R