Clustering avec confidentialité différentielle

Confidentialité des données et anonymisation en Python

Rebeca Gonzalez

Data engineer

Comparer les modèles

Image montrant 3 clusters dans les données après un k-means non privé

Image montrant 3 clusters dans les données après un k-means privé

Comparer les modèles

Image montrant la différence entre les deux segmentations, en points roses

Différences entre les clusters des modèles
La majorité des résultats est commune

Créer des modèles de clustering privés différentiels

from diffprivlib.models import KMeans


# Calculer les clusters avec le modèle DP
model = KMeans(epsilon=1, n_clusters=3)


# Exécuter le modèle et obtenir les clusters
clusters = model.fit_predict(X)

Améliorer les modèles DP de clustering

On peut prétraiter les données avant le clustering.
Mise à l'échelle des variables comme StandardScaler et réduction de dimension comme PCA.
- Pour réduire l'inertie du modèle
- Obtenir des segments plus précis
On le fait avec diffprivlib comme avec les modèles sklearn.

Améliorer les modèles DP de clustering

from sklearn.decomposition import PCA


# Initialiser PCA
pca = PCA()


# Ajuster et transformer les données avec PCA
X = pca.fit_transform(X)


# Calculer les clusters avec le modèle DP
model = dp_Kmeans(epsilon=1, n_clusters=3)


# Exécuter le modèle et obtenir les clusters
clusters = model.fit_predict(X)

Améliorer les modèles DP de clustering

Image montrant deux nuages de points résultants avec les clusters

Améliorer les modèles DP de clustering

Image montrant la différence entre les deux segmentations, en points roses

Résultats améliorés grâce aux transformations des données

Méthode du coude

Image du tracé obtenu après application de la méthode du coude

Epsilon

from diffprivlib.models import KMeans as model


# Calculer les clusters avec le modèle DP
model = dp_Kmeans(epsilon=0.2, n_clusters=3)


# Exécuter le modèle et obtenir les clusters
clusters = model.fit_predict(X)

Epsilon

Image montrant deux nuages de points résultants avec les clusters

Passons à la pratique !

Confidentialité des données et anonymisation en Python