Wartości odstające i skalowanie

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Lisa Stuart

Data Scientist

Wartości odstające

Co najmniej jedna obserwacja znacznie oddalona od pozostałych w danej cesze.

Wartości odstające w danych

¹ https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/

Rozstęp międzykwartylowy (IQR)

IQR danych

¹ By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285

Linia najlepszego dopasowania

Dopasowanie modelu liniowego

¹ https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/

Funkcje do obsługi wartości odstających

Funkcja	zwraca
`sns.boxplot(x= , y='Loan Status')`	wykres pudełkowy warunkowany zmienną docelową
`sns.distplot()`	histogram i jądrową estymację gęstości (KDE)
`np.abs()`	wartość bezwzględną
`stats.zscore()`	obliczoną wartość z-score
`mstats.winsorize(limits=[0.05, 0.05])`	dane z zastosowaną winsoryzacją
`np.where(condition, true, false)`	zastąpione wartości

Wysoka i niska wariancja

Wariancja

¹ https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/

Standaryzacja a normalizacja

Standaryzacja:
- Standaryzacja z-score
- Skaluje do średniej 0 i odchylenia standardowego 1

Wzór standaryzacji z-score

Normalizacja:
- Skalowanie min/max
- Skaluje do przedziału (0, 1)

Wzór skalowania min-max

¹ https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc

Funkcje skalowania

scikit-learn.preprocessing.StandardScaler() --> (mean=0, sd=1)
sklearn.preprocessing.MinMaxScaler() --> (0,1)

Wartości odstające i skalowanie

Jak należy identyfikować wartości odstające i postępować z nimi? Jaki wpływ na dane ma skalowanie min/max lub z-score? Wybierz prawdziwe stwierdzenie:

Wartość odstająca to punkt leżący tuż poza zakresem podobnych punktów w danej cesze.
W określonym kontekście wartości odstające uznane za anomalie są pomocne w budowaniu predykcyjnego modelu ML.
Skalowanie min/max nadaje danym średnią 0, odchylenie standardowe 1 i zwiększa wariancję.
Standaryzacja z-score skaluje dane do przedziału (0,1) i poprawia dopasowanie modelu.

Wartości odstające i skalowanie: odpowiedź

Jak należy identyfikować wartości odstające i postępować z nimi? Jaki wpływ na dane ma skalowanie min/max lub z-score? Prawidłowa odpowiedź to:

W określonym kontekście wartości odstające uznane za anomalie są pomocne w budowaniu predykcyjnego modelu ML. (Anomalie danych są powszechne w wykrywaniu oszustw, zdarzeniach związanych z cyberbezpieczeństwem i innych scenariuszach, gdzie celem jest ich znalezienie.)

Wartości odstające i skalowanie: błędne odpowiedzi

Jak należy identyfikować wartości odstające i postępować z nimi? Jaki wpływ na dane ma skalowanie min/max lub z-score?

Wartość odstająca leży tuż poza zakresem podobnych punktów w danej cesze. (Punkt jest podejrzewany o bycie wartością odstającą dopiero gdy przekracza 1,5-krotność IQR.)
Skalowanie min/max nadaje danym średnią 0, odchylenie standardowe 1 i zwiększa wariancję. (Skalowanie min/max przekształca dane do przedziału (0,1), a wpływ na wariancję zależy od oryginalnych danych.)
Standaryzacja z-score skaluje dane do przedziału (0,1) i poprawia dopasowanie modelu. (Standaryzacja z-score skaluje dane do średniej 0 i odchylenia standardowego 1, co może poprawić dopasowanie modelu.)

Jeszcze jedna rzecz...

Etapy preprocessingu

Czas na ćwiczenia!

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie