Wykrywanie anomalii

Wprowadzenie do jakości danych

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Definicja wykrywania anomalii

Wykrywanie anomalii: algorytm uczenia maszynowego analizuje dane historyczne i identyfikuje potencjalne problemy z jakością danych

lupa z zegarem symbolizująca monitorowanie w czasie i strzałka wskazująca tabelę z wykrytą potencjalną anomalią

Wprowadzenie do jakości danych

Zalety wykrywania anomalii

Zalety:

  • Monitorowanie danych na dużą skalę, nie tylko kluczowych elementów
  • Wymaga niewielkiej wiedzy biznesnej – algorytm uczy się samodzielnie
  • Wykrywa dryf danych i nieoczywiste spostrzeżenia

diagram z różnymi źródłami danych symbolizujący jakość danych na dużą skalę

Wprowadzenie do jakości danych

Zastosowanie wykrywania anomalii

  1. Gdy dostępna jest duża ilość danych
  2. Gdy duże zbiory danych wymagają monitorowania jakości
    • minimalna praca ręczna
    • monitorowanie na dużą skalę
    • automatyczne wykrywanie anomalii

trzy wiersze tekstu dotyczące wykrywania detektywistycznego, prewencyjnego i wykrywania anomalii

Wprowadzenie do jakości danych

Przykład wykrywania anomalii

dwie tabele z danymi, gdzie potencjalna anomalia jest wykryta w ostatnim wierszu

Wprowadzenie do jakości danych

Czas na ćwiczenia!

Wprowadzenie do jakości danych

Preparing Video For Download...