Hur du hanterar hittade avvikare

Avvikelsedetektering i Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Tillämpningar av avvikardetektering

  • Medicin
  • Cybersäkerhet
  • Bedrägeridetektering

Gör två analyser – med och utan avvikare.

Avvikelsedetektering i Python

Orsaker till avvikares förekomst

  • Datainmatningsfel:
    • Skrivfel
    • Mätfel
    • Mänskliga misstag
    • Ta bort om de inte kan åtgärdas
  • Samplingfel:
    • Kommer inte från målfördelningen
    • Ta bort
  • Naturliga:
    • Naturligt avvikande men härstammar från populationen
    • Ta inte bort
Avvikelsedetektering i Python

Ta bort baserat på storlek

  • För få: bekräfta och ta bort
  • För många: väcker misstanke – använd andra modeller:
    • GLMs
    • Quantile Regression
    • GEEs
  • Bildar ett kluster: gör en djupare analys
Avvikelsedetektering i Python

Trimning

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Avvikelsedetektering i Python

Ersättning

google.replace(0, 100, inplace=True)
Avvikelsedetektering i Python

Nu kör vi en övning!

Avvikelsedetektering i Python

Preparing Video For Download...