Задача моделирования для объяснения

Моделирование данных в Tidyverse

Albert Y. Kim

Assistant Professor of Statistical and Data Sciences

Повторение: общая формула моделирования

$$ y = f(\vec{x}) + \epsilon $$

Где:

$y$: целевая переменная
$\vec{x}$: объясняющие/предикторные переменные
$f()$: функция связи между $y$ и $\vec{x}$, или сигнал
$\epsilon$: несистематическая компонента ошибки, или шум

Задача моделирования

Рассмотрим $y = f(\vec{x}) + \epsilon$.

$f()$ и $\epsilon$ неизвестны
$n$ наблюдений $y$ и $\vec{x}$ известны и заданы в данных
Цель: подобрать модель $\hat{f}()$, которая аппроксимирует $f()$ и игнорирует $\epsilon$
Цель иначе: отделить сигнал от шума
Затем можно получить подогнанные/предсказанные значения $\hat{y} = \hat{f}(\vec{x})$

Пример: моделирование для объяснения

Разведочный анализ зависимости

library(ggplot2)
library(dplyr)
library(moderndive)

ggplot(evals, aes(x = age, y = score)) +
  geom_point() + 
  labs(x = "age", y = "score",
       title = "Teaching score over age")

Разведочный анализ зависимости

Диаграмма рассеяния с джиттером

library(ggplot2)
library(dplyr)
library(moderndive)

# Use geom_jitter() instead of geom_point()
ggplot(evals, aes(x = age, y = score)) +
  geom_jitter() + 
  labs(x = "age", y = "score",
       title = "Teaching score over age (jittered)")

Диаграмма рассеяния с джиттером

Коэффициент корреляции

Вычисление коэффициента корреляции

evals %>% 
  summarize(correlation = cor(score, age))

# A tibble: 1 x 1
  correlation
        <dbl>
1      -0.107

Давайте потренируемся!

Моделирование данных в Tidyverse