Détection d'anomalies

Introduction à la qualité des données

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Définir la détection d'anomalies

Détection d'anomalies : quand un algorithme de machine learning apprend d'un ensemble de données historiques et repère des problèmes potentiels de qualité des données

loupe avec une horloge indiquant la surveillance dans le temps et une flèche pointant vers un tableau où une anomalie possible est détectée

Avantages de la détection d'anomalies

Avantages :

Surveiller les données à grande échelle plutôt que seulement les éléments critiques
Peu de connaissances d'affaires nécessaires : l'algorithme apprend à quoi ressemblent les erreurs
Détecte la dérive des données et des constats non évidents

schéma avec plusieurs sources de données symbolisant la qualité des données à grande échelle

Utiliser la détection d'anomalies

Quand un grand volume de données est disponible
Quand un grand volume de données doit être surveillé pour la qualité
- très peu de travail manuel
- déployer une surveillance à grande échelle
- automatiser la détection d'anomalies

trois lignes de texte sur l'usage de la détection rétrospective, préventive et par anomalies

Exemple de détection d'anomalies

deux tableaux de données où une anomalie potentielle est détectée à la dernière ligne

Passons à la pratique !

Introduction à la qualité des données