Передумови моделювання для передбачення

Моделювання даних у Tidyverse

Albert Y. Kim

Assistant Professor of Statistical and Data Sciences

Приклад моделювання для передбачення

Набір даних про ціни на житло в окрузі Кінґ, штат Вашингтон, біля Сіетла (доступний на Kaggle.com).

Запитання: Чи можемо передбачити ціну продажу будинку за його ознаками?

Змінні:

$y$: Ціна продажу price у доларах США
$\vec{x}$: Ознаки, як-от sqft_living, condition, bedrooms, yr_built, waterfront

Приклад моделювання для передбачення

З пакета moderndive для ModernDive:

library(dplyr)
library(moderndive)
glimpse(house_prices)

Observations: 21,613
Variables: 21
$ id            <chr> "7129300520", "6414100192"...
$ date          <dttm> 2014-10-13, 2014-12-09, 2015...
$ price         <dbl> 221900, 538000, 180000, 604000...
...

Розвідувальний аналіз даних

library(ggplot2)
ggplot(house_prices, aes(x = price)) +
  geom_histogram() + 
  labs(x = "house price", y = "count")

Гістограма цільової змінної

Дані Gapminder

Масштабування осі x у log10

Перетворення log10

# log10() transform price and size
house_prices <- house_prices %>%
  mutate(log10_price = log10(price)) %>% 
  select(price, log10_price)

# A tibble: 21,613 x 2
     price log10_price
     <dbl>       <dbl>
 1  221900        5.35
 2  538000        5.73
 3  180000        5.26
 4  604000        5.78
 5  510000        5.71
 6 1225000        6.09

Гістограма нової цільової змінної

# Histogram of original outcome variable
ggplot(house_prices, aes(x = price)) +
  geom_histogram() + 
  labs(x = "house price", y = "count")

# Histogram of new, log10-transformed outcome variable
ggplot(house_prices, aes(x = log10_price)) +
  geom_histogram() + 
  labs(x = "log10 house price", y = "count")

Порівняння до і після перетворення log10

Давайте потренуємось!

Моделювання даних у Tidyverse