Задача моделювання для пояснення

Моделювання даних у Tidyverse

Albert Y. Kim

Assistant Professor of Statistical and Data Sciences

Згадка: загальна формула моделювання

$$ y = f(\vec{x}) + \epsilon $$

Де:

$y$: цільова змінна
$\vec{x}$: пояснювальні/предикторні змінні
$f()$: функція зв'язку між $y$ та $\vec{x}$, тобто сигнал
$\epsilon$: несистематична похибка, тобто шум

Постановка задачі моделювання

Розгляньмо $y = f(\vec{x}) + \epsilon$.

$f()$ і $\epsilon$ невідомі
$n$ спостережень $y$ та $\vec{x}$ задані в даних
Мета: підібрати модель $\hat{f}()$, що наближує $f()$, ігноруючи $\epsilon$
Іншими словами: відокремити сигнал від шуму
Тоді можна отримати підігнані/прогнозні значення $\hat{y} = \hat{f}(\vec{x})$

Приклад моделювання для пояснення

EDA зв'язку

library(ggplot2)
library(dplyr)
library(moderndive)

ggplot(evals, aes(x = age, y = score)) +
  geom_point() + 
  labs(x = "age", y = "score",
       title = "Teaching score over age")

EDA зв'язку

Розсіяна діаграма з jitter

library(ggplot2)
library(dplyr)
library(moderndive)

# Use geom_jitter() instead of geom_point()
ggplot(evals, aes(x = age, y = score)) +
  geom_jitter() + 
  labs(x = "age", y = "score",
       title = "Teaching score over age (jittered)")

Розсіяна діаграма з jitter

Коефіцієнт кореляції

Обчислення коефіцієнта кореляції

evals %>% 
  summarize(correlation = cor(score, age))

# A tibble: 1 x 1
  correlation
        <dbl>
1      -0.107

Давайте потренуємось!

Моделювання даних у Tidyverse