Limites du regroupement hiérarchique

Analyse de grappes en Python

Shaumik Daityari

Business Analyst

Mesurer la vitesse en regroupement hiérarchique

Module timeit
Mesurer la vitesse de la méthode .linkage()
Utiliser des points générés aléatoirement
Lancer plusieurs itérations pour extrapoler

Utilisation du module timeit

from scipy.cluster.hierarchy import linkage
import pandas as pd
import random, timeit

points = 100
df = pd.DataFrame({'x': random.sample(range(0, points), points),
                   'y': random.sample(range(0, points), points)})

%timeit linkage(df[['x', 'y']], method = 'ward', metric = 'euclidean')

1.02 ms ± 133 µs par boucle (moyenne ± éc. type de 7 exécutions, 1000 boucles chacune)

Comparaison des temps d'exécution de la méthode linkage

Temps d'exécution qui augmente avec le nombre de points
Augmentation quadratique du temps
Peu réaliste pour de grands ensembles de données

À suivre : exercices

Analyse de grappes en Python