Comment gérer les valeurs aberrantes détectées

Détection d’anomalies en Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Applications de la détection d'anomalies

  • Médecine
  • Cybersécurité
  • Détection de fraude

Réalisez deux analyses : avec et sans valeurs aberrantes.

Détection d’anomalies en Python

Raisons de la présence de valeurs aberrantes

  • Erreurs de saisie :
    • Fautes de frappe
    • Erreurs de mesure
    • Erreurs humaines
    • Supprimer sauf correction
  • Erreurs d'échantillonnage :
    • Hors de la distribution cible
    • Supprimer
  • Naturelles :
    • Atypiques mais issues de la population
    • Ne pas supprimer
Détection d’anomalies en Python

Supprimer selon l'ampleur

  • Trop peu : confirmer puis supprimer
  • Trop nombreuses : suspicion – utiliser d'autres modèles :
    • GLM
    • Régression quantile
    • GEE
  • Forme un cluster : analyser plus en profondeur
Détection d’anomalies en Python

Tronquer

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Détection d’anomalies en Python

Remplacer

google.replace(0, 100, inplace=True)
Détection d’anomalies en Python

Passons à la pratique !

Détection d’anomalies en Python

Preparing Video For Download...