Dérive des données

Apprentissage Machine de bout en bout

Joshua Stapleton

Machine Learning Engineer

Pourquoi détecter la dérive des données

Graphique montrant l'évolution de la distribution des maladies du cœur selon l'âge au fil du temps : aujourd'hui, elles sont moins fréquentes et surviennent plus tard

Apprentissage Machine de bout en bout

Le test de Kolmogorov–Smirnov

  • Couramment utilisé pour détecter la dérive des données
  • Compare des échantillons pour évaluer la similitude des distributions

Deux graphiques montrant la différence entre la distribution d'un jeu d'entraînement initial et celle d'un jeu d'inférence plus récent ayant dérivé

Apprentissage Machine de bout en bout

Utiliser la fonction ks_2samp()

  • La fonction ks_2samp() retourne deux valeurs : statistique de test et valeur p.
  • Utilisez la valeur p pour accepter ou rejeter l'hypothèse nulle de similarité des distributions.
from scipy.stats import ks_2samp

# load the 1D data distribution samples for comparison
sample_1, sample_2 = training_dataset_sample, current_inference_sample

# perform the KS-test - ensure input samples are numpy arrays
test_statistic, p_value = ks_2samp(sample_1, sample_2)

if p_value < 0.05:
    print("Reject null hypothesis - data drift might be occuring")
else:
    print("Samples are likely to be from the same dataset")
Apprentissage Machine de bout en bout

Corriger la dérive des données

Mettre à jour le modèle pour tenir compte des nouvelles données

  • Réentraîner le modèle
  • Rajuster / mettre à jour les paramètres

Pas assez de nouvelles données/d'inférence ?

  • Réentraîner sur un jeu mixte
  • Augmenter le volume de nouvelles données

Organigramme du réentraînement et du redéploiement d'un modèle touché par une dérive des données

Schéma montrant le réentraînement périodique d'un modèle avec de plus en plus de nouvelles données au fil du temps

Apprentissage Machine de bout en bout

Ressources pour détecter et corriger la dérive des données

Apprentissage Machine de bout en bout

Passons à la pratique !

Apprentissage Machine de bout en bout

Preparing Video For Download...