Valori aberante și scalare

Exersează întrebări de interviu pentru Machine Learning în Python

Lisa Stuart

Data Scientist

Valori aberante

  • Una sau mai multe observații îndepărtate de restul observațiilor dintr-o caracteristică dată.

Valori aberante în date

1 https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/
Exersează întrebări de interviu pentru Machine Learning în Python

Intervalul intercuartilic (IQR)

IQR date

1 By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285
Exersează întrebări de interviu pentru Machine Learning în Python

Dreapta de regresie

Ajustarea unui model liniar

1 https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/
Exersează întrebări de interviu pentru Machine Learning în Python

Funcții pentru valori aberante

Funcție returnează
sns.boxplot(x= , y='Loan Status') boxplot condiționat de variabila țintă
sns.distplot() histogramă și estimare kernel de densitate (kde)
np.abs() returnează valoarea absolută
stats.zscore() calculează z-score
mstats.winsorize(limits=[0.05, 0.05]) aplică prag minim și maxim valorilor aberante
np.where(condition, true, false) valori înlocuite
Exersează întrebări de interviu pentru Machine Learning în Python

Varianță mare vs. varianță mică

Varianță

1 https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/
Exersează întrebări de interviu pentru Machine Learning în Python

Standardizare vs. normalizare

  • Standardizare:
    • Standardizare prin z-score
    • Scalează la medie 0 și abatere standard 1

Formula standardizării prin z-score

  • Normalizare:
    • Scalare min/max
    • Scalează în intervalul (0, 1)

Formula scalării min-max

1 https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc
Exersează întrebări de interviu pentru Machine Learning în Python

Funcții de scalare

  • scikit-learn.preprocessing.StandardScaler() --> (medie=0, as=1)
  • sklearn.preprocessing.MinMaxScaler() --> (0,1)
Exersează întrebări de interviu pentru Machine Learning în Python

Valori aberante și scalare

Cum se identifică și se gestionează valorile aberante? Ce efect are scalarea min/max sau standardizarea prin z-score asupra datelor? Selectați afirmația adevărată:

  • O valoare aberantă este un punct aflat imediat în afara intervalului punctelor similare dintr-o caracteristică.
  • Într-un context dat, valorile aberante considerate anomalii sunt utile în construirea unui model ML predictiv.
  • Scalarea min/max oferă datelor o medie de 0, o abatere standard de 1 și crește varianța.
  • Standardizarea prin z-score scalează datele în intervalul (0,1) și îmbunătățește ajustarea modelului.
Exersează întrebări de interviu pentru Machine Learning în Python

Valori aberante și scalare: răspuns

Cum se identifică și se gestionează valorile aberante? Ce efect are scalarea min/max sau standardizarea prin z-score asupra datelor? Răspunsul corect este:

  • Într-un context dat, valorile aberante considerate anomalii sunt utile în construirea unui model ML predictiv. (Anomaliile din date sunt frecvente în detectarea fraudelor, evenimentele de securitate cibernetică și alte scenarii în care scopul este tocmai identificarea lor.)
Exersează întrebări de interviu pentru Machine Learning în Python

Valori aberante și scalare: răspunsuri incorecte

Cum se identifică și se gestionează valorile aberante? Ce efect are scalarea min/max sau standardizarea prin z-score asupra datelor?

  • O valoare aberantă este imediat în afara intervalului punctelor similare dintr-o caracteristică. (Un punct nu este suspectat de a fi o valoare aberantă decât dacă depășește cu mai mult de 1,5 ori IQR-ul.)
  • Scalarea min/max oferă datelor o medie de 0, o abatere standard de 1 și crește varianța. (Scalarea min/max scalează datele în intervalul (0,1); dacă varianța crește sau scade depinde de datele originale.)
  • Standardizarea prin z-score scalează datele în intervalul (0,1) și îmbunătățește ajustarea modelului. (Standardizarea prin z-score scalează datele la medie 0 și abatere standard 1, ceea ce poate îmbunătăți ajustarea modelului.)
Exersează întrebări de interviu pentru Machine Learning în Python

Un ultim lucru...

Etape de preprocesare

Exersează întrebări de interviu pentru Machine Learning în Python

Să exersăm!

Exersează întrebări de interviu pentru Machine Learning în Python

Preparing Video For Download...