Valeurs aberrantes et mise à l'échelle

S'exercer aux questions d'entrevue en Machine Learning avec Python

Lisa Stuart

Data Scientist

Valeurs aberrantes

  • Une ou plusieurs observations éloignées du reste des observations pour une caractéristique donnée.

Valeurs aberrantes

1 https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/
S'exercer aux questions d'entrevue en Machine Learning avec Python

Étendue interquartile (IQR)

IQR des données

1 By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285
S'exercer aux questions d'entrevue en Machine Learning avec Python

Droite de meilleure adéquation

Ajustement linéaire

1 https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/
S'exercer aux questions d'entrevue en Machine Learning avec Python

Fonctions pour valeurs aberrantes

Fonction renvoie
sns.boxplot(x= , y='Loan Status') boîte à moustaches conditionnée par la variable cible
sns.distplot() histogramme et estimation de densité (kde)
np.abs() valeur absolue
stats.zscore() z-score calculé
mstats.winsorize(limits=[0.05, 0.05]) applique un plancher et un plafond aux valeurs aberrantes
np.where(condition, true, false) valeurs remplacées
S'exercer aux questions d'entrevue en Machine Learning avec Python

Forte vs faible variance

Variance

1 https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/
S'exercer aux questions d'entrevue en Machine Learning avec Python

Standardisation vs normalisation

  • Standardisation :
    • Standardisation par z-score
    • Ramène à moyenne 0 et écart-type 1

Formule de standardisation z-score

  • Normalisation :
    • Normalisation min/max
    • Ramène dans l'intervalle (0, 1)

Formule de mise à l'échelle min-max

1 https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc
S'exercer aux questions d'entrevue en Machine Learning avec Python

Fonctions de mise à l'échelle

  • scikit-learn.preprocessing.StandardScaler() --> (mean=0, sd=1)
  • sklearn.preprocessing.MinMaxScaler() --> (0,1)
S'exercer aux questions d'entrevue en Machine Learning avec Python

Valeurs aberrantes et mise à l'échelle

Comment repérer et traiter adéquatement les valeurs aberrantes ? Quel est l'effet de la normalisation min/max ou de la standardisation par z-score sur les données ? Sélectionnez l'énoncé vrai :

  • Une valeur aberrante est un point juste à l'extérieur de l'étendue des points semblables d'une caractéristique.
  • Dans un contexte donné, des valeurs aberrantes jugées anormales peuvent aider à bâtir un modèle prédictif de ML.
  • La mise à l'échelle min/max donne une moyenne de 0, un ET de 1 et augmente la variance.
  • La standardisation par z-score ramène les données dans (0,1) et améliore l'ajustement du modèle.
S'exercer aux questions d'entrevue en Machine Learning avec Python

Valeurs aberrantes et mise à l'échelle : réponse

Comment repérer et traiter adéquatement les valeurs aberrantes ? Quel est l'effet de la normalisation min/max ou de la standardisation par z-score sur les données ? La bonne réponse est :

  • Dans un contexte donné, des valeurs aberrantes jugées anormales peuvent aider à bâtir un modèle prédictif de ML. (Les anomalies sont courantes en détection de fraude, en cybersécurité et dans d'autres scénarios où l'objectif est de les trouver.)
S'exercer aux questions d'entrevue en Machine Learning avec Python

Valeurs aberrantes et mise à l'échelle : réponses incorrectes

Comment repérer et traiter adéquatement les valeurs aberrantes ? Quel est l'effet de la normalisation min/max ou de la standardisation par z-score sur les données ?

  • Une valeur aberrante est juste à l'extérieur de l'étendue des points semblables d'une caractéristique. (Un point n'est soupçonné d'être aberrant que s'il est au-delà de 1,5 fois l'IQR.)
  • La mise à l'échelle min/max donne une moyenne de 0, un ET de 1 et augmente la variance. (La mise à l'échelle min/max ramène les données dans (0,1) et, selon les données d'origine, la variance peut augmenter ou diminuer.)
  • La standardisation par z-score ramène les données dans (0,1) et améliore l'ajustement du modèle. (La standardisation par z-score donne une moyenne de 0 et un ET de 1, ce qui peut améliorer l'ajustement.)
S'exercer aux questions d'entrevue en Machine Learning avec Python

Une dernière chose…

Étapes de prétraitement

S'exercer aux questions d'entrevue en Machine Learning avec Python

Passons à la pratique !

S'exercer aux questions d'entrevue en Machine Learning avec Python

Preparing Video For Download...