Anomalidetektion

Introduktion till datakvalitet

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Vad är anomalidetektion?

Anomalidetektion: när en maskininlärningsalgoritm används för att analysera en datamängd med hjälp av historiska data och identifierar potentiella datakvalitetsproblem

förstoringsglas med en klocka som symboliserar övervakning över tid och en pil som pekar mot en tabell med en möjlig detekterad anomali

Fördelar med anomalidetektion

Fördelar:

Övervaka data i stor skala, inte bara kritiska dataelement
Kräver lite verksamhetskunskap att sätta upp – algoritmen lär sig själv hur fel ser ut
Kan upptäcka datadrift och icke-uppenbara datamönster

diagram med flera olika datakällor som symboliserar datakvalitet i stor skala

Använda anomalidetektion

När stora mängder data finns tillgängliga
När stora datamängder kräver datakvalitetsövervakning
- minimalt manuellt arbete
- sätt upp övervakning i stor skala
- automatisera identifieringen av dataanomalier

tre textrader om användning av detektiv-, förebyggande och anomalidetektering

Exempel på anomalidetektion

två tabeller med data där en möjlig anomali detekteras i den sista raden

Nu kör vi en övning!

Introduktion till datakvalitet