Застереження щодо кореляції

Вступ до статистики в R

Maggie Matsui

Content Developer, DataCamp

Нелінійні зв'язки

точкова діаграма змінних із квадратичним зв'язком

$$r = 0.18$$

Вступ до статистики в R

Нелінійні зв'язки

Що бачимо ми:

точкова діаграма змінних із квадратичним зв'язком і квадратичним трендом

Що «бачить» коефіцієнт кореляції:

точкова діаграма змінних із квадратичним зв'язком і лінійним трендом

Вступ до статистики в R

Кореляція враховує лише лінійні зв'язки

Кореляцію не варто застосовувати бездумно

cor(df$x, df$y)

0.1786163

Візуалізуйте свої дані завжди

точкова діаграма змінних із квадратичним зв'язком

Вступ до статистики в R

Дані про сон у ссавців

msleep

   name                       vore  sleep_total awake  bodywt
 1 Cheetah                    carni        12.1  11.9  50    
 2 Owl monkey                 omni         17     7     0.48 
 3 Mountain beaver            herbi        14.4   9.6   1.35 
 4 Greater short-tailed shrew omni         14.9   9.1   0.019
 5 Cow                        herbi         4    20   600    
 6 Three-toed sloth           herbi        14.4   9.6   3.85 
 ...
Вступ до статистики в R

Маса тіла та час неспання

Точкова діаграма: маса тіла vs час неспання

cor(msleep$bodywt, msleep$awake)

0.3119801
Вступ до статистики в R

Розподіл маси тіла

Гістограма змінної bodywt

Вступ до статистики в R

Логарифмічне перетворення

msleep %>%
  mutate(log_bodywt = log(bodywt)) %>%

  ggplot(aes(log_bodywt, awake)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

 

cor(msleep$log_bodywt, msleep$awake)

0.5687943

Точкова діаграма: log bodywt vs awake

Вступ до статистики в R

Інші перетворення

  • Логарифмічне перетворення (log(x))
  • Квадратний корінь (sqrt(x))

  • Обернене значення (1 / x)

  • Комбінації, напр.:

    • log(x) і log(y)
    • sqrt(x) і 1 / y
Вступ до статистики в R

Навіщо застосовувати перетворення?

  • Деякі статистичні методи потребують лінійного зв'язку між змінними
    • Коефіцієнт кореляції
    • Лінійна регресія
Вступ до статистики в R

Кореляція не дорівнює причинності

x корелює з y не означає, що x спричиняє y

Точкова діаграма: споживання маргарину на душу населення у США vs рівень розлучень у Менi. Змінні сильно корелюють, коефіцієнт 0,99

Вступ до статистики в R

Змішування (конфаундинг)

  Вживання кави (x) вказує на рак легень (y)

Вступ до статистики в R

Змішування (конфаундинг)

  Вживання кави (x) вказує на рак легень (y) зі «smoking» (змішувальна змінна) зверху

Вступ до статистики в R

Змішування (конфаундинг)

  Вживання кави (x) вказує на рак легень (y) зі «smoking» (змішувальна змінна). Подвійна стрілка між курінням і кавою з підписом "association".

Вступ до статистики в R

Змішування (конфаундинг)

  Вживання кави (x) вказує на рак легень (y) зі «smoking» (змішувальна змінна). Подвійна стрілка між курінням і кавою з підписом "association". Стрілка від куріння до раку легень з підписом "causation"

Вступ до статистики в R

Змішування (конфаундинг)

  Вживання кави (x) з подвійною стрілкою до раку легень (y) з підписом "association". Подвійна стрілка між курінням і кавою з підписом "association". Стрілка від куріння до раку легень з підписом "causation".

  Свята (x) вказують на роздрібні продажі (y). Спецпропозиції (змішувальна змінна) мають подвійну стрілку зі святами й одинарну — до роздрібних продажів.

Вступ до статистики в R

Давайте потренуємось!

Вступ до статистики в R

Preparing Video For Download...