Analiza clustering: alegerea algoritmului potrivit

Exersează întrebări de interviu pentru Machine Learning în Python

Lisa Stuart

Data Scientist

Algoritmi de clustering

  • Caracteristici >> Observații
  • Antrenarea modelului este mai dificilă
  • Se bazează pe calcule de distanță
  • Cea mai utilizată tehnică nesupravegheată
Exersează întrebări de interviu pentru Machine Learning în Python

Aplicații practice ale clustering-ului

  • Segmentarea clienților
  • Clasificarea documentelor
  • Detectarea fraudelor (asigurări/tranzacții)
  • Segmentarea imaginilor
  • Detectarea anomaliilor
  • Și multe altele...
Exersează întrebări de interviu pentru Machine Learning în Python

Metrici de distanță: distanța Manhattan (taxicab)

Grafic Manhattan

1 https://en.wikipedia.org/wiki/Taxicab_geometry
Exersează întrebări de interviu pentru Machine Learning în Python

Metrici de distanță: distanța euclidiană

Grafic euclidian

1 http://rosalind.info/glossary/euclidean-distance/
Exersează întrebări de interviu pentru Machine Learning în Python

K-means

Etapele K-means

  1. Centroizi inițiali
  2. Atribuiți fiecare observație celui mai apropiat centroid
  3. Calculați noi centroizi
  4. Repetați pașii 2 și 3
1 http://sherrytowers.com/2013/10/24/k-means-clustering/
Exersează întrebări de interviu pentru Machine Learning în Python

Clustering ierarhic aglomerativ

Dendrogramă clustering ierarhic

1 https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/
Exersează întrebări de interviu pentru Machine Learning în Python

Tipuri de legătură în clustering aglomerativ

  • Legătură Ward
  • Legătură maximă/completă
  • Legătură medie
  • Legătură simplă
Exersează întrebări de interviu pentru Machine Learning în Python

Alegerea algoritmului de clustering

Distanțe între clustere

  • Evaluarea stabilității clusterelor
  • K-means și HC folosesc distanța euclidiană
  • Distanțe intra- și inter-cluster

„O măsură de disimilaritate adecvată este mult mai importantă pentru succesul clustering-ului decât alegerea algoritmului." - din Elements of Statistical Learning

1 https://slideplayer.com/slide/8363774/
Exersează întrebări de interviu pentru Machine Learning în Python

Funcții de clustering

Funcție/metodă returnează
sklearn.cluster.Kmeans Algoritm de clustering K-Means
sklearn.cluster.AgglomerativeClustering Algoritm de clustering aglomerativ
kmeans.inertia_ Suma pătratelor distanțelor la cel mai apropiat centru
scipy.cluster.hierarchy as sch Clustering ierarhic pentru dendrograme
sch.dendrogram() Funcție pentru dendrogramă
Exersează întrebări de interviu pentru Machine Learning în Python

Să exersăm!

Exersează întrebări de interviu pentru Machine Learning în Python

Preparing Video For Download...