クラスタリング解析：最適なアルゴリズムの選択

Pythonで学ぶMachine Learning面接対策

Lisa Stuart

Data Scientist

クラスタリングアルゴリズム

• 特徴量 >> 観測数
• 学習がより困難
• 距離計算に依存
• 最も一般的な教師なし手法

クラスタリングの実用例

• 顧客セグメンテーション
• 文書分類
• 保険・取引の不正検知
• 画像セグメンテーション
• 異常検知
• そのほか多数

距離尺度：マンハッタン（タクシー）距離

¹ https://en.wikipedia.org/wiki/Taxicab_geometry

距離尺度：ユークリッド距離

¹ http://rosalind.info/glossary/euclidean-distance/

K-means

1. 初期セントロイド
2. 各観測を最も近いセントロイドに割当て
3. 新しいセントロイドを作成
4. 手順2と3を反復

¹ http://sherrytowers.com/2013/10/24/k-means-clustering/

階層的凝集型クラスタリング

¹ https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/

凝集型クラスタリングのリンク法

• Ward 法
• 最大（完全）リンク
• 平均リンク
• 単一リンク

クラスタリングアルゴリズムの選択

• クラスタの安定性評価
• K-means と HC はユークリッド距離を使用
• クラスタ間・クラスタ内距離

「適切な非類似度の選択は、クラスタリングの成功において、アルゴリズム選択よりはるかに重要である。」- Elements of Statistical Learning より

¹ https://slideplayer.com/slide/8363774/

クラスタリング関数

関数/メソッド	戻り値
sklearn.cluster.Kmeans	K-means アルゴリズム
sklearn.cluster.AgglomerativeClustering	凝集型クラスタリング
kmeans.inertia_	最近傍クラスタ中心までのSS距離
scipy.cluster.hierarchy as sch	デンドログラム用の階層的クラスタリング
sch.dendrogram()	デンドログラム関数

練習に進みましょう！

Pythonで学ぶMachine Learning面接対策