Jak postępować ze znalezionymi wartościami odstającymi

Wykrywanie anomalii w Pythonie

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Zastosowania wykrywania anomalii

Medycyna
Cyberbezpieczeństwo
Wykrywanie oszustw

Wykonaj dwie analizy – z wartościami odstającymi i bez nich.

Przyczyny występowania wartości odstających

Błędy wprowadzania danych:
- Literówki
- Błędy pomiarowe
- Błędy ludzkie
- Usunąć, chyba że poprawione
Błędy próbkowania:
- Spoza docelowego rozkładu
- Usunąć
Naturalne:
- Naturalnie odstające, ale pochodzące z populacji
- Nie usuwać

Usuwanie na podstawie wartości

Zbyt mało: potwierdzić i usunąć
Zbyt wiele: wzbudza podejrzenia – zastosować inne modele:
- GLM
- Regresja kwantylowa
- GEE
Tworzy skupisko: przeprowadzić głębszą analizę

Przycinanie

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)

Zastępowanie

google.replace(0, 100, inplace=True)

Czas na ćwiczenia!

Wykrywanie anomalii w Pythonie