Como lidar com outliers encontrados

Detecção de Anomalias em Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Aplicações de detecção de anomalias

  • Medicina
  • Cibersegurança
  • Detecção de fraude

Faça duas análises — com e sem outliers.

Detecção de Anomalias em Python

Por que outliers aparecem

  • Erros de entrada de dados:
    • Erros de digitação
    • Erros de medição
    • Falhas humanas
    • Excluir se não corrigir
  • Erros de amostragem:
    • Fora da distribuição-alvo
    • Excluir
  • Naturais:
    • Atípicos, mas da população
    • Não excluir
Detecção de Anomalias em Python

Excluir com base na magnitude

  • Muito poucos: confirmar e excluir
  • Muitos: levanta suspeita — use outros modelos:
    • GLMs
    • Regressão Quantílica
    • GEEs
  • Forma um cluster: fazer análise mais profunda
Detecção de Anomalias em Python

Trimming

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Detecção de Anomalias em Python

Substituição

google.replace(0, 100, inplace=True)
Detecção de Anomalias em Python

Vamos praticar!

Detecção de Anomalias em Python

Preparing Video For Download...