Jak zacházet s nalezenými odlehlými hodnotami

Detekce anomálií v Pythonu

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Aplikace detekce anomálií

Medicína
Kybernetická bezpečnost
Odhalování podvodů

Proveďte dvě analýzy – s odlehlými hodnotami i bez nich.

Příčiny výskytu odlehlých hodnot

Chyby při zadávání dat:
- Překlepy
- Chyby měření
- Lidské chyby
- Odstranit, pokud nelze opravit
Chyby vzorkování:
- Nepocházejí z cílového rozdělení
- Odstranit
Přirozené:
- Přirozeně neobvyklé, ale pocházejí z populace
- Neodstraňovat

Odstranění podle velikosti

Příliš málo: potvrdit a odstranit
Příliš mnoho: vzbuzuje podezření – použijte jiné modely:
- GLM
- Kvantilová regrese
- GEE
Tvoří shluk: proveďte hlubší analýzu

Ořezávání

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)

Nahrazování

google.replace(0, 100, inplace=True)

Pojďme si procvičit!

Detekce anomálií v Pythonu