Klusteranalys: att välja rätt klusteralgoritm

Öva på maskininlärningsintervjufrågor i Python

Lisa Stuart

Data Scientist

Klusteralgoritmer

Särdrag >> Observationer
Modellträning mer utmanande
Bygger på distansberäkningar
Vanligaste tekniken inom oövervakad inlärning

Praktiska tillämpningar av klustring

Kundsegmentering
Dokumentklassificering
Bedrägeridetektering inom försäkring/transaktioner
Bildsegmentering
Avvikelsedetektering
Och mycket mer...

Distansmått: Manhattanavstånd (taxikaravstånd)

Manhattandiagram

¹ https://en.wikipedia.org/wiki/Taxicab_geometry

Distansmått: Euklidiskt avstånd

Euklidiskt diagram

¹ http://rosalind.info/glossary/euclidean-distance/

K-means

K-means-steg

Initiala centroider
Tilldela varje observation till närmaste centroid
Skapa nya centroider
Upprepa steg 2 och 3

¹ http://sherrytowers.com/2013/10/24/k-means-clustering/

Hierarkisk agglomerativ klustring

Dendrogram för hierarkisk klustring

¹ https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/

Länkning vid agglomerativ klustring

Ward-länkning
Maximum-/komplett länkning
Genomsnittslänkning
Enkellänkning

Att välja klusteralgoritm

Klusteravstånd

Bedömning av klusterstabilitet
K-means och HC använder euklidiskt avstånd
Inter- och intraklusteravstånd

"Ett lämpligt dissimilaritetsmått är långt viktigare för att lyckas med klustring än valet av klusteralgoritm." - från Elements of Statistical Learning

¹ https://slideplayer.com/slide/8363774/

Klusterfunktioner

Funktion/metod	returnerar
`sklearn.cluster.Kmeans`	K-means-klusteralgoritm
`sklearn.cluster.AgglomerativeClustering`	Agglomerativ klusteralgoritm
`kmeans.inertia_`	SS-avstånd från observationer till närmaste klustercenter
`scipy.cluster.hierarchy` as `sch`	Hierarkisk klustring för dendrogramm
`sch.dendrogram()`	Dendrogramfunktion

Nu kör vi en övning!

Öva på maskininlärningsintervjufrågor i Python