Propojování shluků a praktické aspekty

Unsupervised Learning in R

Hank Roark

Senior Data Scientist at Boeing

Propojování shluků v hierarchickém shlukování

Jak se určuje vzdálenost mezi shluky? Jaká pravidla platí?
Čtyři metody propojení shluků
- Úplné: párová podobnost mezi všemi pozorováními ve shluku 1 a 2, používá největší z podobností
- Jednoduchý: stejné jako výše, ale používá nejmenší z podobností
- Průměrný: stejné jako výše, ale používá průměr podobností
- Centroid: najde centroidy obou shluků a používá podobnost mezi dvěma centroidy

Metody propojení: complete a average

dendrogramy metod complete a average

Metoda propojení: single

dendrogram metody single

Metoda propojení: centroid

dendrogram metody centroid

Propojování v R

# Fitting hierarchical clustering models using different methods
hclust.complete <- hclust(d, method = "complete")
hclust.average <- hclust(d, method = "average")
hclust.single <- hclust(d, method = "single")

Praktické aspekty

Data v různých měřítkách mohou způsobit nežádoucí výsledky shlukování
Řešením je škálování dat tak, aby měly příznaky stejný průměr a směrodatnou odchylku
- Od každého pozorování odečteme průměr příznaku
- Každý příznak vydělíme jeho směrodatnou odchylkou
- Normalizované příznaky mají průměr nula a směrodatnou odchylku jedna

Praktické aspekty

# Check if scaling is necessary
colMeans(x)

-0.1337828  0.0594019

apply(x, 2, sd)

1.974376 2.112357

Praktické aspekty

# Produce new matrix with columns of mean of 0 and sd of 1
scaled_x <- scale(x)
colMeans(scaled_x)

2.775558e-17 3.330669e-17

apply(scaled_x, 2, sd)

1 1

Pojďme si procvičit!

Unsupervised Learning in R