Měření výkonu

Úvod do detekce anomálií v R

Alastair Rushworth

Data Scientist

Použití rozhodovacího prahu

Volba vysoké hodnoty

high_score <- quantile(sat$score, probs = 0.99)
high_score
    99% 
0.6228078

Binarizace skóre

sat$binary_score <- as.numeric(score >= high_score)
Úvod do detekce anomálií v R

Tabulky shody

Porovnání skutečného štítku a binarizovaného skóre

table(sat$label, sat$binary_score)
       0    1
  0 5729    3
  1   15   56

  • 56 z 71 anomálií nalezeno
Úvod do detekce anomálií v R

Recall

Správně identifikované anomálie $\div$ Celkový počet anomálií

  • 1 = Dokonalý recall; každá anomálie detekována algoritmem
table(sat$label, sat$binary_score)
       0    1
  0 5729    3
  1   15   56
recall <- 56 / (15 + 56)
recall
0.7887324
Úvod do detekce anomálií v R

Přesnost

Správně identifikované anomálie $\mathbf{\div}$ Celkový počet označených jako anomální

  • 1 = Dokonalá přesnost; žádné normální instance chybně označeny
table(sat$label, sat$binary_score)
       0    1
  0 5729    3
  1   15   56
precision <- 56 / (56 + 3)
precision
0.9491525
Úvod do detekce anomálií v R

Pojďme si procvičit!

Úvod do detekce anomálií v R

Preparing Video For Download...