Uteliggare och skalning av data

Öva på maskininlärningsintervjufrågor i Python

Lisa Stuart

Data Scientist

Uteliggare

En eller flera observationer som ligger långt från övriga observationer i ett givet särdrag.

Data outliers

¹ https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/

Kvartilavstånd (IQR)

Data IQR

¹ Av Jhguch på en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285

Bäst anpassad linje

Linear model fit

¹ https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/

Funktioner för uteliggare

Funktion	returnerar
`sns.boxplot(x= , y='Loan Status')`	lådagram villkorat på målvariabeln
`sns.distplot()`	histogram och kärndensitatskattning (kde)
`np.abs()`	returnerar absolutvärde
`stats.zscore()`	beräknat z-värde
`mstats.winsorize(limits=[0.05, 0.05])`	golv och tak appliceras på uteliggare
`np.where(condition, true, false)`	ersatta värden

Hög kontra låg varians

Variance

¹ https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/

Standardisering kontra normalisering

Standardisering:
- Z-värdesstandardisering
- Skalar till medelvärde 0 och sd 1

Formula z-score standardization

Normalisering:
- Min/max-normalisering
- Skalar till intervallet (0, 1)

Formula min-max scaling

¹ https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc

Skalningsfunktioner

scikit-learn.preprocessing.StandardScaler() --> (mean=0, sd=1)
sklearn.preprocessing.MinMaxScaler() --> (0,1)

Uteliggare och skalning

Hur identifieras och hanteras uteliggare på rätt sätt? Vilken effekt har min/max- eller z-värdesstandardisering på data? Välj det påstående som är sant:

En uteliggare är en punkt som ligger strax utanför intervallet för liknande punkter i ett särdrag.
I ett givet sammanhang är uteliggare som anses avvikande användbara när man bygger en prediktiv ML-modell.
Min/max-skalning ger data ett medelvärde på 0, ett sd på 1 och ökar variansen.
Z-värdesstandardisering skalar data till intervallet (0,1) och förbättrar modellens passning.

Uteliggare och skalning: svar

Hur identifieras och hanteras uteliggare på rätt sätt? Vilken effekt har min/max- eller z-värdesstandardisering på data? Rätt svar är:

I ett givet sammanhang är uteliggare som anses avvikande användbara när man bygger en prediktiv ML-modell. (Dataavvikelser är vanliga vid bedrägeridetektering, cybersäkerhetshändelser och andra scenarier där målet är att hitta dem.)

Uteliggare och skalning: felaktiga svar

Hur identifieras och hanteras uteliggare på rätt sätt? Vilken effekt har min/max- eller z-värdesstandardisering på data?

En uteliggare ligger strax utanför intervallet för liknande punkter i ett särdrag. (En punkt misstänks inte vara en uteliggare förrän den befinner sig mer än 1,5 gånger IQR utanför kvartilerna.)
Min/max-skalning ger data ett medelvärde på 0, ett sd på 1 och ökar variansen. (Min/max-skalning skalar data till intervallet (0,1), och huruvida variansen ökar eller minskar beror på ursprungsdata.)
Z-värdesstandardisering skalar data till intervallet (0,1) och förbättrar modellens passning. (Z-värdesstandardisering skalar data till medelvärde 0 och sd 1, vilket kan förbättra modellens passning.)

En sak till...

Preprocessing steps

Nu kör vi en övning!

Öva på maskininlärningsintervjufrågor i Python