Mierzenie wydajności

Wprowadzenie do wykrywania anomalii w R

Alastair Rushworth

Data Scientist

Użycie progu decyzyjnego

Wybór wysokiej wartości

high_score <- quantile(sat$score, probs = 0.99)
high_score
    99% 
0.6228078

Binaryzacja wyniku

sat$binary_score <- as.numeric(score >= high_score)
Wprowadzenie do wykrywania anomalii w R

Tabele zgodności

Porównanie etykiety rzeczywistej z wynikiem binarnym

table(sat$label, sat$binary_score)
       0    1
  0 5729    3
  1   15   56

  • Znaleziono 56 z 71 anomalii
Wprowadzenie do wykrywania anomalii w R

Czułość

Poprawnie zidentyfikowane anomalie $\div$ Wszystkie anomalie

  • 1 = Idealne pokrycie; algorytm wykrył każdą anomalię
table(sat$label, sat$binary_score)
       0    1
  0 5729    3
  1   15   56
recall <- 56 / (15 + 56)
recall
0.7887324
Wprowadzenie do wykrywania anomalii w R

Precyzja

Poprawnie zidentyfikowane anomalie $\mathbf{\div}$ Wszystkie oznaczone jako anomalie

  • 1 = Idealna precyzja; żaden normalny przypadek nie został błędnie oznaczony
table(sat$label, sat$binary_score)
       0    1
  0 5729    3
  1   15   56
precision <- 56 / (56 + 3)
precision
0.9491525
Wprowadzenie do wykrywania anomalii w R

Czas na ćwiczenia!

Wprowadzenie do wykrywania anomalii w R

Preparing Video For Download...