Outlier e scaling

Esercitarsi con le domande di colloquio di Machine Learning in Python

Lisa Stuart

Data Scientist

Outlier

  • Una o più osservazioni lontane dal resto delle osservazioni in una data feature.

Outlier nei dati

1 https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/
Esercitarsi con le domande di colloquio di Machine Learning in Python

Intervallo interquartile (IQR)

IQR dei dati

1 By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285
Esercitarsi con le domande di colloquio di Machine Learning in Python

Linea di miglior fit

Fit del modello lineare

1 https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/
Esercitarsi con le domande di colloquio di Machine Learning in Python

Funzioni per outlier

Function returns
sns.boxplot(x= , y='Loan Status') boxplot condizionato alla variabile target
sns.distplot() istogramma e stima di densità (kde)
np.abs() valore assoluto
stats.zscore() z-score calcolato
mstats.winsorize(limits=[0.05, 0.05]) soglia minima e massima sugli outlier
np.where(condition, true, false) valori sostituiti
Esercitarsi con le domande di colloquio di Machine Learning in Python

Varianza alta vs bassa

Varianza

1 https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/
Esercitarsi con le domande di colloquio di Machine Learning in Python

Standardizzazione vs normalizzazione

  • Standardizzazione:
    • Z-score standardization
    • Scala a media 0 e ds 1

Formula z-score standardization

  • Normalizzazione:
    • Min/max scaling
    • Scala nell’intervallo (0, 1)

Formula min-max scaling

1 https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc
Esercitarsi con le domande di colloquio di Machine Learning in Python

Funzioni di scaling

  • scikit-learn.preprocessing.StandardScaler() --> (mean=0, sd=1)
  • sklearn.preprocessing.MinMaxScaler() --> (0,1)
Esercitarsi con le domande di colloquio di Machine Learning in Python

Outlier e scaling

Come identificare e gestire gli outlier? Che effetto hanno min/max o la standardizzazione z-score sui dati? Seleziona l’affermazione vera:

  • Un outlier è un punto appena fuori dall’intervallo di punti simili in una feature.
  • In un certo contesto, outlier anomali sono utili per costruire un modello ML predittivo.
  • Il min/max scaling dà media 0, DS 1 e aumenta la varianza.
  • La standardizzazione z-score scala a (0,1) e migliora il fit del modello.
Esercitarsi con le domande di colloquio di Machine Learning in Python

Outlier e scaling: risposta

Come identificare e gestire gli outlier? Che effetto hanno min/max o la standardizzazione z-score sui dati? La risposta corretta è:

  • In un certo contesto, outlier anomali sono utili per costruire un modello ML predittivo. (Le anomalie sono comuni in frodi, cybersicurezza e altri scenari in cui l’obiettivo è trovarle.)
Esercitarsi con le domande di colloquio di Machine Learning in Python

Outlier e scaling: risposte errate

Come identificare e gestire gli outlier? Che effetto hanno min/max o la standardizzazione z-score sui dati?

  • Un outlier è appena fuori dall’intervallo di punti simili in una feature. (Si sospetta un outlier oltre 1,5 volte l’IQR.)
  • Il min/max scaling dà media 0, DS 1 e aumenta la varianza. (Il min/max scala a (0,1); l’effetto sulla varianza dipende dai dati.)
  • La standardizzazione z-score scala a (0,1) e migliora il fit. (Lo z-score porta media 0 e ds 1; può migliorare il fit.)
Esercitarsi con le domande di colloquio di Machine Learning in Python

Un’ultima cosa...

Passi di preprocessing

Esercitarsi con le domande di colloquio di Machine Learning in Python

Ayo berlatih!

Esercitarsi con le domande di colloquio di Machine Learning in Python

Preparing Video For Download...