Łączenie skupień i kwestie praktyczne

Uczenie nienadzorowane w R

Hank Roark

Senior Data Scientist at Boeing

Łączenie skupień w grupowaniu hierarchicznym

Jak wyznaczana jest odległość między skupieniami? Jakie zasady?
Cztery metody określania, które skupienia powinny być łączone
- Pełna: parami podobieństwo między wszystkimi obserwacjami w skupieniu 1 i 2, używa największego podobieństwa
- Pojedyncza: jak powyżej, ale używa najmniejszego podobieństwa
- Średnia: jak powyżej, ale używa średniego podobieństwa
- Centroidalna: wyznacza centroid skupienia 1 i 2, używa podobieństwa między centroidami

Metody łączenia: pełna i średnia

dendrogramy metody pełnej i średniej

Metoda łączenia: pojedyncza

dendrogram metody pojedynczej

Metoda łączenia: centroidalna

dendrogram metody centroidalnej

Łączenie w R

# Fitting hierarchical clustering models using different methods
hclust.complete <- hclust(d, method = "complete")
hclust.average <- hclust(d, method = "average")
hclust.single <- hclust(d, method = "single")

Kwestie praktyczne

Dane w różnych skalach mogą powodować niepożądane wyniki w metodach grupowania
Rozwiązaniem jest skalowanie danych, aby cechy miały tę samą średnią i odchylenie standardowe
- Odjąć średnią cechy od wszystkich obserwacji
- Podzielić każdą cechę przez jej odchylenie standardowe
- Znormalizowane cechy mają średnią zero i odchylenie standardowe równe jeden

Kwestie praktyczne

# Check if scaling is necessary
colMeans(x)

-0.1337828  0.0594019

apply(x, 2, sd)

1.974376 2.112357

Kwestie praktyczne

# Produce new matrix with columns of mean of 0 and sd of 1
scaled_x <- scale(x)
colMeans(scaled_x)

2.775558e-17 3.330669e-17

apply(scaled_x, 2, sd)

1 1

Czas na ćwiczenia!

Uczenie nienadzorowane w R