Hoe ga je om met gevonden uitschieters

Anomaly Detection in Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Toepassingen van anomaliedetectie

  • Geneeskunde
  • Cybersecurity
  • Fraudedetectie

Voer twee analyses uit: mét en zonder uitschieters.

Anomaly Detection in Python

Redenen voor uitschieters

  • Invoerfouten:
    • Typfouten
    • Meetfouten
    • Menselijke fouten
    • Verwijderen tenzij gecorrigeerd
  • Steekproeffouten:
    • Niet uit de doelverdeling
    • Verwijderen
  • Natuurlijk:
    • Afwijkend maar hoort bij de populatie
    • Niet verwijderen
Anomaly Detection in Python

Verwijderen op basis van grootte

  • Te weinig: bevestigen en verwijderen
  • Te veel: verdacht — gebruik andere modellen:
    • GLM's
    • Kwantielregressie
    • GEE's
  • Vormt een cluster: doe verdiepend onderzoek
Anomaly Detection in Python

Trimmen

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Anomaly Detection in Python

Vervangen

google.replace(0, 100, inplace=True)
Anomaly Detection in Python

Laten we oefenen!

Anomaly Detection in Python

Preparing Video For Download...