Odlehlé hodnoty a škálování

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Lisa Stuart

Data Scientist

Odlehlé hodnoty

  • Jedno nebo více pozorování výrazně vzdálených od ostatních pozorování v dané proměnné.

Odlehlé hodnoty v datech

1 https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Mezikvartilové rozpětí (IQR)

IQR dat

1 By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Přímka nejlepšího fitu

Fit lineárního modelu

1 https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Funkce pro odlehlé hodnoty

Funkce Vrací
sns.boxplot(x= , y='Loan Status') krabicový graf podmíněný cílovou proměnnou
sns.distplot() histogram a odhad hustoty jádra (kde)
np.abs() absolutní hodnotu
stats.zscore() vypočítané z-skóre
mstats.winsorize(limits=[0.05, 0.05]) podlahu a strop aplikovaný na odlehlé hodnoty
np.where(condition, true, false) nahrazené hodnoty
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Vysoký vs. nízký rozptyl

Rozptyl

1 https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Standardizace vs. normalizace

  • Standardizace:
    • Standardizace pomocí z-skóre
    • Škáluje na průměr 0 a sm. odch. 1

Vzorec standardizace z-skóre

  • Normalizace:
    • Min/max normalizace
    • Škáluje do intervalu (0, 1)

Vzorec min-max škálování

1 https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Funkce pro škálování

  • scikit-learn.preprocessing.StandardScaler() --> (průměr=0, sm. odch.=1)
  • sklearn.preprocessing.MinMaxScaler() --> (0,1)
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Odlehlé hodnoty a škálování

Jak identifikovat odlehlé hodnoty a jak je správně zpracovat? Jaký vliv má min/max škálování nebo standardizace z-skóre na data? Vyberte správné tvrzení:

  • Odlehlá hodnota je bod ležící těsně mimo rozsah podobných hodnot v proměnné.
  • Odlehlé hodnoty považované za anomálie jsou v daném kontextu užitečné při tvorbě prediktivního modelu ML.
  • Min/max škálování dává datům průměr 0, sm. odch. 1 a zvyšuje rozptyl.
  • Standardizace z-skóre škáluje data do intervalu (0,1) a zlepšuje fit modelu.
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Odlehlé hodnoty a škálování: odpověď

Jak identifikovat odlehlé hodnoty a jak je správně zpracovat? Jaký vliv má min/max škálování nebo standardizace z-skóre na data? Správná odpověď je:

  • Odlehlé hodnoty považované za anomálie jsou v daném kontextu užitečné při tvorbě prediktivního modelu ML. (Datové anomálie jsou běžné při detekci podvodů, kybernetických incidentech a dalších scénářích, kde je cílem je odhalit.)
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Odlehlé hodnoty a škálování: nesprávné odpovědi

Jak identifikovat odlehlé hodnoty a jak je správně zpracovat? Jaký vliv má min/max škálování nebo standardizace z-skóre na data?

  • Odlehlá hodnota leží těsně mimo rozsah podobných hodnot v proměnné. (Bod není považován za odlehlý, dokud nepřekročí IQR o více než 1,5násobek.)
  • Min/max škálování dává datům průměr 0, sm. odch. 1 a zvyšuje rozptyl. (Min/max škálování škáluje data do intervalu (0,1) a vliv na rozptyl závisí na původních datech.)
  • Standardizace z-skóre škáluje data do intervalu (0,1) a zlepšuje fit modelu. (Standardizace z-skóre škáluje data na průměr 0 a sm. odch. 1, což může zlepšit fit modelu.)
Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Ještě jedna věc...

Kroky předzpracování

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Pojďme procvičovat!

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Preparing Video For Download...