Selezione del modello: regressione

Esercitarsi con le domande di colloquio di Machine Learning in Python

Lisa Stuart

Data Scientist

Multicollinearità

• Alta correlazione tra variabili indipendenti
• Coefficienti di regressione stimati
  • Variazione della DV spiegata dalla IV
  • Mantenendo costanti le altre variabili

¹ https://eigenblogger.com/2010/03/26/post1426/

Effetti della multicollinearità

• Coefficienti ridotti
• p-value ridotti
• Varianza instabile
• Overfitting
• Minore significatività per errore standard maggiore
• Relazione col target poco chiara

Tecniche per gestire la multicollinearità

• Matrice di correlazione
• Heatmap delle correlazioni
• Calcolare il Variance Inflation Factor (VIF)
• Penalizzazioni (Ridge, Lasso)
• PCA

Matrice di correlazione vs heatmap

Variance Inflation Factor

Valore VIF	Multicollinearità
<= 1	no
> 1	sì, si può ignorare
> 5	sì, da gestire

Funzioni

Funzione/metodo	restituisce
sklearn.linear_model.LinearRegression	Regressione lineare
data.corr()	matrice di correlazione
sns.heatmap(corr)	heatmap delle correlazioni
mod.coef_	coefficienti stimati
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	R-quadro
df.columns	nomi colonne

Passiamo alla pratica!

Esercitarsi con le domande di colloquio di Machine Learning in Python