O problema de modelagem para explicação

Modelagem com dados no Tidyverse

Albert Y. Kim

Assistant Professor of Statistical and Data Sciences

Relembrando: fórmula geral de modelagem

$$ y = f(\vec{x}) + \epsilon $$

Onde:

$y$: variável de interesse (resposta)
$\vec{x}$: variáveis explicativas/preditoras
$f()$: função que relaciona $y$ e $\vec{x}$, ou seja, o sinal
$\epsilon$: erro não sistemático, ou seja, o ruído

O problema de modelagem

Considere $y = f(\vec{x}) + \epsilon$.

$f()$ e $\epsilon$ são desconhecidos
$n$ observações de $y$ e $\vec{x}$ são conhecidas/fornecidas nos dados
Objetivo: Ajustar um modelo $\hat{f}()$ que aproxime $f()$ ignorando $\epsilon$
Em outras palavras: separar o sinal do ruído
Assim, gerar valores ajustados/preditos $\hat{y} = \hat{f}(\vec{x})$

Exemplo de modelagem para explicação

EDA da relação

library(ggplot2)
library(dplyr)
library(moderndive)

ggplot(evals, aes(x = age, y = score)) +
  geom_point() + 
  labs(x = "age", y = "score",
       title = "Teaching score over age")

EDA da relação

Dispersão com jitter

library(ggplot2)
library(dplyr)
library(moderndive)

# Use geom_jitter() instead of geom_point()
ggplot(evals, aes(x = age, y = score)) +
  geom_jitter() + 
  labs(x = "age", y = "score",
       title = "Teaching score over age (jittered)")

Dispersão com jitter

Coeficiente de correlação

Calculando o coeficiente de correlação

evals %>% 
  summarize(correlation = cor(score, age))

# A tibble: 1 x 1
  correlation
        <dbl>
1      -0.107

Vamos praticar!

Modelagem com dados no Tidyverse