Testando os extremos com o teste de Grubbs

Introduction to Anomaly Detection in R

Alastair Rushworth

Data Scientist

A avaliação visual nem sempre é confiável!

boxplot(temperature, ylab = "Celsius")

Boxplots para pontos discrepantes

Introduction to Anomaly Detection in R

Teste de Grubbs

  • Teste estatístico para decidir se um ponto é discrepante
  • Supõe dados com distribuição normal
  • Primeiro, verifique a suposição de normalidade
Introduction to Anomaly Detection in R

Verificando a normalidade com um histograma

hist(temperature, breaks = 6)

Histograma mostrando a distribuição dos dados

Simétrico e em forma de sino?

Introduction to Anomaly Detection in R

Rodando o teste de Grubbs

Use a função grubbs.test():

grubbs.test(temperature)

    Grubbs test for one outlier
data:  temp
G = 3.07610, U = 0.41065, p-value = 0.001796
alternative hypothesis: highest value 30 is an outlier
Introduction to Anomaly Detection in R

Interpretando o p-value

grubbs.test(temperature)

    Grubbs test for one outlier

data:  temperature
G = 3.07610, U = 0.41065, p-value = 0.001796
alternative hypothesis: highest value 30 is an outlier

  p-value

  • Perto de 0 — evidência mais forte de ponto discrepante
  • Perto de 1 — evidência mais fraca de ponto discrepante
Introduction to Anomaly Detection in R

Obter o índice da linha de um outlier

Posição do máximo

which.max(weights)

5

Posição do mínimo

which.min(temperature)

12
Introduction to Anomaly Detection in R

Vamos praticar!

Introduction to Anomaly Detection in R

Preparing Video For Download...