Dobór modelu: modele regresji

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Lisa Stuart

Data Scientist

Multikolinearność

• Wysoka korelacja zmiennych niezależnych
• Szacowane współczynniki regresji
  • Zmiana w ZZ wyjaśniona przez ZN
  • Przy stałych pozostałych zmiennych

¹ https://eigenblogger.com/2010/03/26/post1426/

Skutki multikolinearności

• Redukcja współczynników
• Redukcja p-wartości
• Niestabilna wariancja
• Nadmierne dopasowanie
• Obniżona istotność statystyczna wskutek wzrostu błędu standardowego
• Niejasny rzeczywisty związek ze zmienną docelową

Techniki radzenia sobie z multikolinearnością

• Macierz korelacji
• Mapa cieplna korelacji
• Obliczenie czynnika inflacji wariancji (VIF)
• Wprowadzenie penalizacji (Ridge, Lasso)
• PCA

Macierz korelacji a mapa cieplna

Czynnik inflacji wariancji

Wartość VIF	Multikolinearność
<= 1	brak
> 1	tak, można pominąć
> 5	tak, wymaga uwagi

Funkcje

Funkcja/metoda	Zwraca
sklearn.linear_model.LinearRegression	Regresja liniowa
data.corr()	Macierz korelacji
sns.heatmap(corr)	Mapa cieplna korelacji
mod.coef_	Szacowane współczynniki modelu
mean_squared_error(y_test, y_pred)	MSE
r2_score(y_test, y_pred)	Współczynnik R-kwadrat
df.columns	Nazwy kolumn

Czas na ćwiczenia!

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie