Analiza skupień: wybór odpowiedniego algorytmu

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Lisa Stuart

Data Scientist

Algorytmy grupowania

  • Cechy >> Obserwacje
  • Trudniejsze uczenie modelu
  • Oparte na obliczeniach odległości
  • Najpopularniejsza technika uczenia nienadzorowanego
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Praktyczne zastosowania grupowania

  • Segmentacja klientów
  • Klasyfikacja dokumentów
  • Wykrywanie oszustw ubezpieczeniowych/transakcyjnych
  • Segmentacja obrazów
  • Wykrywanie anomalii
  • I wiele więcej...
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Metryki odległości: odległość Manhattan (taksówkowa)

Wykres Manhattan

1 https://en.wikipedia.org/wiki/Taxicab_geometry
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Metryki odległości: odległość euklidesowa

Wykres euklidesowy

1 http://rosalind.info/glossary/euclidean-distance/
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

K-średnie

Kroki k-średnich

  1. Początkowe centroidy
  2. Przypisanie obserwacji do najbliższego centroidu
  3. Wyznaczanie nowych centroidów
  4. Powtórzenie kroków 2 i 3
1 http://sherrytowers.com/2013/10/24/k-means-clustering/
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Aglomeracyjne grupowanie hierarchiczne

Dendrogram grupowania hierarchicznego

1 https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Metody łączenia w grupowaniu aglomeracyjnym

  • Łączenie Warda
  • Łączenie maksymalne/pełne
  • Łączenie średnie
  • Łączenie pojedyncze
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Wybór algorytmu grupowania

Odległości między skupieniami

  • Ocena stabilności skupień
  • K-średnie i grupowanie hierarchiczne używają odległości euklidesowej
  • Odległości między- i wewnątrzgrupowe

„Odpowiednia miara niepodobieństwa jest znacznie ważniejsza dla sukcesu grupowania niż wybór algorytmu." - z Elements of Statistical Learning

1 https://slideplayer.com/slide/8363774/
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Funkcje grupowania

Funkcja/metoda zwraca
sklearn.cluster.Kmeans Algorytm k-średnich
sklearn.cluster.AgglomerativeClustering Aglomeracyjny algorytm grupowania
kmeans.inertia_ Suma kwadratów odległości obserwacji do centrum skupienia
scipy.cluster.hierarchy as sch Grupowanie hierarchiczne dla dendrogramów
sch.dendrogram() Funkcja dendrogramu
Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Czas na ćwiczenia!

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Preparing Video For Download...