Fundamentos de modelagem para previsão

Modelagem com dados no Tidyverse

Albert Y. Kim

Assistant Professor of Statistical and Data Sciences

Exemplo de modelagem para previsão

Um conjunto de dados de preços de casas em King County, Washington, perto de Seattle (disponível em Kaggle.com).

Pergunta: Dá para prever o preço de venda das casas a partir de suas características?

Variáveis:

$y$: price de venda da casa em dólares
$\vec{x}$: Atributos como sqft_living, condition, bedrooms, yr_built, waterfront

Exemplo de modelagem para previsão

Do pacote moderndive para o ModernDive:

library(dplyr)
library(moderndive)
glimpse(house_prices)

Observations: 21,613
Variables: 21
$ id            <chr> "7129300520", "6414100192"...
$ date          <dttm> 2014-10-13, 2014-12-09, 2015...
$ price         <dbl> 221900, 538000, 180000, 604000...
...

Análise exploratória de dados

library(ggplot2)
ggplot(house_prices, aes(x = price)) +
  geom_histogram() + 
  labs(x = "house price", y = "count")

Histograma da variável de saída

Dados do Gapminder

Reescala log10 do eixo x

Transformação log10

# log10() transform price and size
house_prices <- house_prices %>%
  mutate(log10_price = log10(price)) %>% 
  select(price, log10_price)

# A tibble: 21,613 x 2
     price log10_price
     <dbl>       <dbl>
 1  221900        5.35
 2  538000        5.73
 3  180000        5.26
 4  604000        5.78
 5  510000        5.71
 6 1225000        6.09

Histograma da nova variável de saída

# Histogram of original outcome variable
ggplot(house_prices, aes(x = price)) +
  geom_histogram() + 
  labs(x = "house price", y = "count")

# Histogram of new, log10-transformed outcome variable
ggplot(house_prices, aes(x = log10_price)) +
  geom_histogram() + 
  labs(x = "log10 house price", y = "count")

Comparando antes e depois da transformação log10

Vamos praticar!

Modelagem com dados no Tidyverse