Rilevamento delle anomalie

Introduzione alla qualità dei dati

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Definire il rilevamento delle anomalie

Rilevamento di anomalie: quando un algoritmo di apprendimento automatico viene utilizzato per imparare a conoscere un set di dati utilizzando dati storici e identificare potenziali problemi di qualità dei dati

lente di ingrandimento con un orologio che indica il monitoraggio nel tempo e una freccia che indica una tabella con una possibile anomalia rilevata

Vantaggi del rilevamento delle anomalie

Vantaggi:

Monitorare i dati su scala rispetto ai soli elementi critici dei dati
La configurazione richiede poche conoscenze aziendali perché l'algoritmo di apprendimento automatico impara a riconoscere gli errori
È in grado di rilevare le derive dei dati e le intuizioni non ovvie sui dati

diagramma con diverse fonti di dati che simboleggiano la qualità dei dati in scala

Utilizzo del rilevamento delle anomalie

Quando è disponibile una grande quantità di dati
Quando una grande quantità di dati richiede il monitoraggio della qualità dei dati
- richiede un lavoro manuale minimo
- impostare il monitoraggio su larga scala
- automatizzare la ricerca di anomalie nei dati

tre righe di testo sull'uso del rilevamento investigativo, preventivo e di anomalia

Esempio di rilevamento di anomalie

due tabelle con dati in cui viene rilevata una potenziale anomalia nell'ultima riga

Passiamo alla pratica!

Introduzione alla qualità dei dati