Ligação em clustering e questões práticas

Aprendizado não supervisionado em R

Hank Roark

Senior Data Scientist at Boeing

Ligando clusters no agrupamento hierárquico

  • Como determinar a distância entre clusters? Regras?
  • Quatro métodos para decidir quais clusters ligar
    • Complete: similaridade par a par entre todas as observações do cluster 1 e do 2, usando a maior similaridade
    • Single: igual ao acima, mas usa a menor similaridade
    • Average: igual ao acima, mas usa a média das similaridades
    • Centroid: encontra o centróide do cluster 1 e do 2 e usa a similaridade entre os dois centróides
Aprendizado não supervisionado em R

Métodos de ligação: complete e average

dendrogramas complete e average

Aprendizado não supervisionado em R

Método de ligação: single

dendrograma single

Aprendizado não supervisionado em R

Método de ligação: centroid

dendrograma centroid

Aprendizado não supervisionado em R

Linkage em R

# Ajustando modelos de agrupamento hierárquico com diferentes métodos
hclust.complete <- hclust(d, method = "complete")
hclust.average <- hclust(d, method = "average")
hclust.single <- hclust(d, method = "single")
Aprendizado não supervisionado em R

Questões práticas

  • Dados em escalas diferentes podem gerar resultados indesejáveis nos métodos de clustering
  • A solução é padronizar os dados para que os atributos tenham a mesma média e desvio-padrão
    • Subtrair a média de um atributo de todas as observações
    • Dividir cada atributo pelo desvio-padrão correspondente
    • Atributos normalizados têm média zero e desvio-padrão um
Aprendizado não supervisionado em R

Questões práticas

# Verificar se a padronização é necessária
colMeans(x)

-0.1337828  0.0594019

apply(x, 2, sd)

1.974376 2.112357
Aprendizado não supervisionado em R

Questões práticas

# Gerar nova matriz com colunas de média 0 e dp 1
scaled_x <- scale(x)
colMeans(scaled_x)

2.775558e-17 3.330669e-17

apply(scaled_x, 2, sd)

1 1
Aprendizado não supervisionado em R

Vamos praticar!

Aprendizado não supervisionado em R

Preparing Video For Download...