Detekce anomálií

Úvod do kvality dat

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Definice detekce anomálií

Detekce anomálií: algoritmus strojového učení se učí z historických dat a identifikuje potenciální problémy s kvalitou dat

lupa s hodinami znázorňující průběžné sledování a šipka ukazující na tabulku s možnou detekovanou anomálií

Úvod do kvality dat

Výhody detekce anomálií

Výhody:

  • Sledování dat ve velkém měřítku, nejen kritických prvků
  • Vyžaduje minimální znalost domény – algoritmus se sám naučí, jak chyby vypadají
  • Umožňuje detekovat datový drift a méně zřejmé poznatky

diagram s různými zdroji dat symbolizující kvalitu dat ve velkém měřítku

Úvod do kvality dat

Využití detekce anomálií

  1. Pokud je k dispozici velké množství dat
  2. Pokud velké množství dat vyžaduje sledování kvality
    • minimální ruční práce
    • sledování ve velkém měřítku
    • automatizované hledání anomálií

tři řádky textu o použití detektivní, preventivní a detekce anomálií

Úvod do kvality dat

Příklad detekce anomálií

dvě tabulky s daty, kde je v posledním řádku detekována možná anomálie

Úvod do kvality dat

Pojďme si procvičit!

Úvod do kvality dat

Preparing Video For Download...