Analisis klaster: memilih algoritme yang tepat

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Lisa Stuart

Data Scientist

Algoritme clustering

  • Fitur >> Observasi
  • Pelatihan model lebih menantang
  • Mengandalkan perhitungan jarak
  • Teknik unsupervised paling umum
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Aplikasi praktis clustering

  • Segmentasi pelanggan
  • Klasifikasi dokumen
  • Deteksi penipuan asuransi/transaksi
  • Segmentasi gambar
  • Deteksi anomali
  • Dan lain-lain...
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Metrik jarak: jarak Manhattan (taxicab)

Plot Manhattan

1 https://en.wikipedia.org/wiki/Taxicab_geometry
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Metrik jarak: jarak Euclidean

Plot Euclidean

1 http://rosalind.info/glossary/euclidean-distance/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

K-means

Langkah K-means

  1. Centroid awal
  2. Tetapkan tiap observasi ke centroid terdekat
  3. Buat centroid baru
  4. Ulangi langkah 2 dan 3
1 http://sherrytowers.com/2013/10/24/k-means-clustering/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Clustering hirarkis aglomeratif

Dendrogram klaster hierarkis

1 https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Taut (linkage) pada aglomeratif

  • Taut Ward
  • Taut maksimum/komplet
  • Taut rata-rata
  • Taut tunggal
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Memilih algoritme clustering

Jarak antar klaster

  • Penilaian stabilitas klaster
  • K-means dan HC memakai jarak Euclidean
  • Jarak antar- dan intra-klaster

"Ukuran ketidakmiripan yang tepat jauh lebih penting untuk keberhasilan clustering daripada pilihan algoritme." - dari Elements of Statistical Learning

1 https://slideplayer.com/slide/8363774/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Fungsi clustering

Fungsi/metode mengembalikan
sklearn.cluster.Kmeans Algoritme K-Means
sklearn.cluster.AgglomerativeClustering Algoritme aglomeratif
kmeans.inertia_ Jarak kuadrat jumlah (SS) ke pusat klaster terdekat
scipy.cluster.hierarchy sebagai sch Clustering hierarkis untuk dendrogram
sch.dendrogram() Fungsi dendrogram
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Ayo berlatih!

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Preparing Video For Download...