Seleção de modelos: regressão

Praticando perguntas de entrevista de Machine Learning em Python

Lisa Stuart

Data Scientist

Multicolinearidade

• Alta correlação entre variáveis independentes
• Coeficientes de regressão estimados
  • Variação na VD explicada pela VI
  • Mantendo as outras vars constantes

¹ https://eigenblogger.com/2010/03/26/post1426/

Efeitos da multicolinearidade

• Redução dos coeficientes
• Redução dos p-values
• Variância instável
• Overfitting
• Menor significância estatística por maior erro padrão
• Relação real com a variável-alvo fica obscura

Técnicas para lidar com multicolinearidade

• Matriz de correlação
• Heatmap de correlações
• Calcular o fator de inflação da variância (VIF)
• Introduzir penalizações (Ridge, Lasso)
• PCA

Matriz de correlação vs heatmap

Fator de inflação da variância

Valor de VIF	Multicolinearidade
<= 1	não
> 1	sim, mas pode ignorar
> 5	sim, precisa tratar

Funções

Função/método	retorna
sklearn.linear_model.LinearRegression	Regressão Linear
data.corr()	matriz de correlação
sns.heatmap(corr)	heatmap de correlações
mod.coef_	coeficientes estimados do modelo
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	R-squared
df.columns	nomes das colunas

Vamos praticar!

Praticando perguntas de entrevista de Machine Learning em Python