Ограничения корреляции

Введение в статистику на R

Maggie Matsui

Content Developer, DataCamp

Нелинейные зависимости

точечный график переменных с квадратичной зависимостью

$$r = 0.18$$

Введение в статистику на R

Нелинейные зависимости

Что мы видим:

точечный график переменных с квадратичной зависимостью и квадратичной линией тренда

Что «видит» коэффициент корреляции:

точечный график переменных с квадратичной зависимостью и линейной линией тренда

Введение в статистику на R

Корреляция учитывает только линейные зависимости

Не применяйте корреляцию слепо

cor(df$x, df$y)

0.1786163

Всегда визуализируйте данные

точечный график переменных с квадратичной зависимостью

Введение в статистику на R

Данные о сне млекопитающих

msleep

   name                       vore  sleep_total awake  bodywt
 1 Cheetah                    carni        12.1  11.9  50    
 2 Owl monkey                 omni         17     7     0.48 
 3 Mountain beaver            herbi        14.4   9.6   1.35 
 4 Greater short-tailed shrew omni         14.9   9.1   0.019
 5 Cow                        herbi         4    20   600    
 6 Three-toed sloth           herbi        14.4   9.6   3.85 
 ...
Введение в статистику на R

Масса тела и время бодрствования

Точечный график: масса тела и время бодрствования

cor(msleep$bodywt, msleep$awake)

0.3119801
Введение в статистику на R

Распределение массы тела

Гистограмма переменной bodywt

Введение в статистику на R

Логарифмическое преобразование

msleep %>%
  mutate(log_bodywt = log(bodywt)) %>%

  ggplot(aes(log_bodywt, awake)) +
  geom_point() +
  geom_smooth(method = "lm", se = FALSE)

 

cor(msleep$log_bodywt, msleep$awake)

0.5687943

Точечный график: логарифм массы тела и время бодрствования

Введение в статистику на R

Другие преобразования

  • Логарифмическое преобразование (log(x))
  • Преобразование квадратным корнем (sqrt(x))

  • Обратное преобразование (1 / x)

  • Комбинации, например:

    • log(x) и log(y)
    • sqrt(x) и 1 / y
Введение в статистику на R

Зачем применять преобразование?

  • Ряд статистических методов требует линейной зависимости между переменными
    • Коэффициент корреляции
    • Линейная регрессия
Введение в статистику на R

Корреляция не означает причинно-следственную связь

«x коррелирует с y» не означает «x вызывает y»

Точечный график: потребление маргарина на душу населения в США и уровень разводов в штате Мэн. Переменные сильно коррелируют, коэффициент корреляции равен 0,99

Введение в статистику на R

Смешивающий фактор

  Потребление кофе (x) указывает на рак лёгких (y)

Введение в статистику на R

Смешивающий фактор

  Потребление кофе (x) указывает на рак лёгких (y), курение (смешивающий фактор) — сверху

Введение в статистику на R

Смешивающий фактор

  Потребление кофе (x) указывает на рак лёгких (y), курение (смешивающий фактор). Двойная стрелка между курением и потреблением кофе с подписью «ассоциация».

Введение в статистику на R

Смешивающий фактор

  Потребление кофе (x) указывает на рак лёгких (y), курение (смешивающий фактор). Двойная стрелка между курением и потреблением кофе с подписью «ассоциация». Стрелка от курения к раку лёгких с подписью «причинность»

Введение в статистику на R

Смешивающий фактор

  Потребление кофе (x) с двойной стрелкой к раку лёгких (y) с подписью «ассоциация». Двойная стрелка между курением и потреблением кофе с подписью «ассоциация». Стрелка от курения к раку лёгких с подписью «причинность».

  Праздники (x) указывают на розничные продажи (y). Специальные акции (смешивающий фактор) имеют двойную стрелку к праздникам и одинарную стрелку к розничным продажам.

Введение в статистику на R

Давайте потренируемся!

Введение в статистику на R

Preparing Video For Download...