Análise de cluster: escolhendo o número ideal de clusters

Praticando perguntas de entrevista de Machine Learning em Python

Lisa Stuart

Data Scientist

Métodos para k ideal

  • Método Silhouette
  • Método do cotovelo
Praticando perguntas de entrevista de Machine Learning em Python

Coeficiente Silhouette

  • Composto por 2 escores
    • Distância média entre cada observação e todas as outras:
      • no mesmo cluster
      • no cluster mais próximo
Praticando perguntas de entrevista de Machine Learning em Python

Valores do coeficiente Silhouette

  • Entre -1 e 1
    • 1
      • perto de outras no mesmo cluster
      • bem longe de outras em outros clusters
    • -1
      • não perto de outras no mesmo cluster
      • perto de outras em outros clusters
    • 0
      • indica clusters sobrepostos
Praticando perguntas de entrevista de Machine Learning em Python

Escore Silhouette

Gráfico do escore Silhouette

1 https://scikit-learn.org/stable/auto_examples/cluster/plot_kmeans_silhouette_analysis.html
Praticando perguntas de entrevista de Machine Learning em Python

Método do cotovelo

Gráfico do método do cotovelo

1 https://www.datanovia.com/en/lessons/determining-the-optimal-number-of-clusters-3-must-know-methods/
Praticando perguntas de entrevista de Machine Learning em Python

Funções para escolher k ideal

Function/method returns
sklearn.cluster.KMeans algoritmo de clustering K-Means
sklearn.metrics.silhouette_score escore entre -1 e 1 como medida de estabilidade do cluster
kmeans.inertia_ soma dos quadrados das distâncias ao centroide mais próximo
range(start, stop) lista de valores começando em start, até mas sem incluir stop
list.append(kmeans.inertia_) adiciona o valor de inércia à lista
Praticando perguntas de entrevista de Machine Learning em Python

Vamos praticar!

Praticando perguntas de entrevista de Machine Learning em Python

Preparing Video For Download...