Măsurarea performanței

Introducere în Detecția Anomaliilor în R

Alastair Rushworth

Data Scientist

Utilizarea unui prag de decizie

Alegeți o valoare ridicată

high_score <- quantile(sat$score, probs = 0.99)
high_score

    99% 
0.6228078

Binarizați scorul

sat$binary_score <- as.numeric(score >= high_score)
Introducere în Detecția Anomaliilor în R

Tabele de concordanță

Compararea etichetei reale cu scorul binarizat

table(sat$label, sat$binary_score)

       0    1
  0 5729    3
  1   15   56

  • 56 din 71 de anomalii identificate
Introducere în Detecția Anomaliilor în R

Recall

Anomalii identificate corect $\div$ Total anomalii

  • 1 = Recall perfect; toate anomaliile detectate de algoritm
table(sat$label, sat$binary_score)

       0    1
  0 5729    3
  1   15   56

recall <- 56 / (15 + 56)
recall

0.7887324
Introducere în Detecția Anomaliilor în R

Precizie

Anomalii identificate corect $\mathbf{\div}$ Total clasificate ca anomalii

  • 1 = Precizie perfectă; nicio instanță normală etichetată incorect
table(sat$label, sat$binary_score)

       0    1
  0 5729    3
  1   15   56

precision <- 56 / (56 + 3)
precision

0.9491525
Introducere în Detecția Anomaliilor în R

Să exersăm!

Introducere în Detecția Anomaliilor în R

Preparing Video For Download...