Регрессия к среднему

Введение в регрессию с statsmodels на Python

Maarten Van den Broeck

Content Developer at DataCamp

Концепция

  • Значение отклика = подогнанное значение + остаток
  • «То, что объяснила модель» + «то, что объяснить не удалось»
  • Остатки возникают из-за недостатков модели и случайности
  • Экстремальные значения часто обусловлены случайностью
  • Регрессия к среднему означает, что крайние значения не сохраняются со временем
Введение в регрессию с statsmodels на Python

Набор данных Пирсона «отцы и сыновья»

  • 1078 пар отец/сын
  • Влияет ли высокий рост отца на рост сына?
father_height_cm son_height_cm
165.2 151.8
160.7 160.6
165.0 160.9
167.0 159.5
155.3 163.3
... ...
1 Адаптировано из https://www.rdocumentation.org/packages/UsingR/topics/father.son
Введение в регрессию с statsmodels на Python

Диаграмма рассеяния

fig = plt.figure()

sns.scatterplot(x="father_height_cm",
                y="son_height_cm",
                data=father_son)

plt.axline(xy1=(150, 150),
           slope=1,
           linewidth=2,
           color="green")

plt.axis("equal")
plt.show()

Диаграмма рассеяния роста сыновей относительно роста отцов с линией равенства роста отца и сына. С увеличением роста отцов растёт и рост сыновей.

Введение в регрессию с statsmodels на Python

Добавление линии регрессии

fig = plt.figure()

sns.regplot(x="father_height_cm",
            y="son_height_cm",
            data=father_son,
            ci = None, 
            line_kws={"color": "black"})

plt.axline(xy1 = (150, 150),
           slope=1,
           linewidth=2,
           color="green")

plt.axis("equal")
plt.show()

Диаграмма рассеяния роста сыновей относительно роста отцов с линией линейного тренда. Линия тренда менее крутая, чем линия равенства роста отца и сына.

Введение в регрессию с statsmodels на Python

Построение регрессии

mdl_son_vs_father = ols("son_height_cm ~ father_height_cm",
                        data = father_son).fit()
print(mdl_son_vs_father.params)

Intercept           86.071975
father_height_cm     0.514093
dtype: float64
Введение в регрессию с statsmodels на Python

Получение прогнозов

really_tall_father = pd.DataFrame(
  {"father_height_cm": [190]})

mdl_son_vs_father.predict(
  really_tall_father)

183.7

really_short_father = pd.DataFrame(
  {"father_height_cm": [150]})

mdl_son_vs_father.predict(
  really_short_father)

163.2
Введение в регрессию с statsmodels на Python

Давайте потренируемся!

Введение в регрессию с statsmodels на Python

Preparing Video For Download...