Outliers e escalonamento

Praticando perguntas de entrevista de Machine Learning em Python

Lisa Stuart

Data Scientist

Outliers

  • Uma ou mais observações distantes do restante em uma determinada variável.

Outliers de dados

1 https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/
Praticando perguntas de entrevista de Machine Learning em Python

Intervalo interquartil (IQR)

IQR dos dados

1 By Jhguch at en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285
Praticando perguntas de entrevista de Machine Learning em Python

Reta de melhor ajuste

Ajuste de modelo linear

1 https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/
Praticando perguntas de entrevista de Machine Learning em Python

Funções para outliers

Function returns
sns.boxplot(x= , y='Loan Status') boxplot condicionado à variável-alvo
sns.distplot() histograma e estimativa de densidade (kde)
np.abs() retorna valor absoluto
stats.zscore() calcula z-score
mstats.winsorize(limits=[0.05, 0.05]) aplica piso e teto a outliers
np.where(condition, true, false) valores substituídos
Praticando perguntas de entrevista de Machine Learning em Python

Alta vs. baixa variância

Variância

1 https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/
Praticando perguntas de entrevista de Machine Learning em Python

Padronização vs normalização

  • Padronização:
    • Padronização por z-score
    • Escala para média 0 e dp 1

Fórmula da padronização z-score

  • Normalização:
    • Normalização min/max
    • Escala para o intervalo (0, 1)

Fórmula do min-max scaling

1 https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc
Praticando perguntas de entrevista de Machine Learning em Python

Funções de escalonamento

  • scikit-learn.preprocessing.StandardScaler() --> (mean=0, sd=1)
  • sklearn.preprocessing.MinMaxScaler() --> (0,1)
Praticando perguntas de entrevista de Machine Learning em Python

Outliers e escalonamento

Como identificar e tratar outliers corretamente? Qual o efeito de min/max ou z-score nos dados? Selecione a afirmação verdadeira:

  • Um outlier é um ponto logo fora do intervalo dos pontos similares em uma variável.
  • Em um dado contexto, outliers considerados anômalos ajudam a construir um modelo preditivo de ML.
  • O escalonamento min/max dá média 0, dp 1 e aumenta a variância.
  • A padronização por z-score leva os dados ao intervalo (0,1) e melhora o ajuste do modelo.
Praticando perguntas de entrevista de Machine Learning em Python

Outliers e escalonamento: resposta

Como identificar e tratar outliers corretamente? Qual o efeito de min/max ou z-score nos dados? A resposta correta é:

  • Em um dado contexto, outliers considerados anômalos ajudam a construir um modelo preditivo de ML. (Anomalias são comuns em detecção de fraudes, eventos de cibersegurança e outros cenários em que o objetivo é encontrá-las.)
Praticando perguntas de entrevista de Machine Learning em Python

Outliers e escalonamento: respostas incorretas

Como identificar e tratar outliers corretamente? Qual o efeito de min/max ou z-score nos dados?

  • Um outlier está logo fora do intervalo de pontos similares em uma variável. (Um ponto só é suspeito de ser outlier quando está além de 1,5 vezes o IQR.)
  • O escalonamento min/max dá média 0, dp 1 e aumenta a variância. (Min/max leva os dados ao intervalo (0,1) e depende dos dados originais aumentar ou reduzir a variância.)
  • A padronização por z-score leva os dados ao intervalo (0,1) e melhora o ajuste. (Z-score ajusta para média 0 e dp 1, o que pode melhorar o ajuste.)
Praticando perguntas de entrevista de Machine Learning em Python

Só mais uma coisa...

Etapas de pré-processamento

Praticando perguntas de entrevista de Machine Learning em Python

Vamos praticar!

Praticando perguntas de entrevista de Machine Learning em Python

Preparing Video For Download...