Shluková analýza: výběr správného algoritmu

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Lisa Stuart

Data Scientist

Shlukovací algoritmy

  • Příznaky >> Pozorování
  • Trénování modelu je náročnější
  • Spoléhají na výpočty vzdáleností
  • Nejpoužívanější technika učení bez učitele
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Praktické využití shlukování

  • Segmentace zákazníků
  • Klasifikace dokumentů
  • Detekce podvodů v pojišťovnictví a transakcích
  • Segmentace obrázků
  • Detekce anomálií
  • A mnoho dalšího...
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Metriky vzdálenosti: Manhattanská (taxicab) vzdálenost

Graf manhattanské vzdálenosti

1 https://en.wikipedia.org/wiki/Taxicab_geometry
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Metriky vzdálenosti: Euklidovská vzdálenost

Graf euklidovské vzdálenosti

1 http://rosalind.info/glossary/euclidean-distance/
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

K-means

Kroky algoritmu K-means

  1. Počáteční centroidy
  2. Přiřazení pozorování k nejbližšímu centroidu
  3. Vytvoření nových centroidů
  4. Opakování kroků 2 a 3
1 http://sherrytowers.com/2013/10/24/k-means-clustering/
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Hierarchické aglomerativní shlukování

Dendrogram hierarchického shlukování

1 https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Vazby v aglomerativním shlukování

  • Wardova metoda
  • Maximální/úplná vazba
  • Průměrná vazba
  • Jednoduchá vazba
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Výběr shlukovacího algoritmu

Vzdálenosti mezi shluky

  • Hodnocení stability shluků
  • K-means a HC používají euklidovskou vzdálenost
  • Vzdálenosti mezi shluky a uvnitř shluků

"Vhodná míra nepodobnosti je pro úspěšné shlukování mnohem důležitější než volba algoritmu." – z Elements of Statistical Learning

1 https://slideplayer.com/slide/8363774/
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Shlukovací funkce

Funkce/metoda Vrací
sklearn.cluster.Kmeans Algoritmus K-means
sklearn.cluster.AgglomerativeClustering Aglomerativní shlukovací algoritmus
kmeans.inertia_ Součet čtvercových vzdáleností k nejbližšímu centroidu
scipy.cluster.hierarchy as sch Hierarchické shlukování pro dendrogramy
sch.dendrogram() Funkce pro vykreslení dendrogramu
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Pojďme si procvičit!

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Preparing Video For Download...