Застереження щодо кореляції

Вступ до Statistics у Python

Maggie Matsui

Content Developer, DataCamp

Нелінійні зв'язки

точкова діаграма змінних із квадратичним зв'язком

$$r = 0.18$$

Нелінійні зв'язки

Що бачимо ми:

точкова діаграма зі квадратичним зв'язком і квадратичним трендом

Що «бачить» коефіцієнт кореляції:

точкова діаграма зі квадратичним зв'язком і лінійним трендом

Кореляція враховує лише лінійні зв'язки

Кореляцію не слід застосовувати бездумно

df['x'].corr(df['y'])

0.081094

Завжди візуалізуйте дані

точкова діаграма змінних із квадратичним зв'язком

Дані про сон у ссавців

print(msleep)

                 name       genus   vore         order  ... sleep_cycle  awake  brainwt   bodywt
1             Cheetah    Acinonyx  carni     Carnivora  ...         NaN   11.9      NaN   50.000
2          Owl monkey       Aotus   omni      Primates  ...         NaN    7.0  0.01550    0.480
3     Mountain beaver  Aplodontia  herbi      Rodentia  ...         NaN    9.6      NaN    1.350
4 Greater short-ta...     Blarina   omni  Soricomorpha  ...    0.133333    9.1  0.00029    0.019
5                 Cow         Bos  herbi  Artiodactyla  ...    0.666667   20.0  0.42300  600.000
..                ...         ...    ...           ...  ...         ...    ...      ...      ...
79         Tree shrew      Tupaia   omni    Scandentia  ...    0.233333   15.1  0.00250    0.104
80 Bottle-nosed do...    Tursiops  carni       Cetacea  ...         NaN   18.8      NaN  173.330
81              Genet     Genetta  carni     Carnivora  ...         NaN   17.7  0.01750    2.000
82         Arctic fox      Vulpes  carni     Carnivora  ...         NaN   11.5  0.04450    3.380
83            Red fox      Vulpes  carni     Carnivora  ...    0.350000   14.2  0.05040    4.230

Маса тіла vs час неспання

Точкова діаграма: маса тіла проти часу неспання

msleep['bodywt'].corr(msleep['awake'])

0.3119801

Розподіл маси тіла

Гістограма змінної bodywt

Логарифмічне перетворення

msleep['log_bodywt'] = np.log(msleep['bodywt'])


sns.lmplot(x='log_bodywt',
           y='awake',
           data=msleep,
           ci=None)
plt.show()

msleep['log_bodywt'].corr(msleep['awake'])

0.5687943

Точкова діаграма: log bodywt vs awake

Інші перетворення

Логарифмічне перетворення (log(x))
Квадратичний корінь (sqrt(x))
Обернене значення (1 / x)
Комбінації, напр.:
- log(x) і log(y)
- sqrt(x) і 1 / y

Навіщо робити перетворення?

Деякі статистичні методи покладаються на лінійний зв'язок змінних
- Коефіцієнт кореляції
- Лінійна регресія

Introduction to Linear Modeling in Python

Кореляція не означає причинності

x корелює з y не означає, що x спричиняє y

Точкова діаграма: споживання маргарину на душу населення в США vs рівень розлучень у Менові. Змінні сильно корелюють, коефіцієнт кореляції 0.99

Змішування впливів (confounding)

Вживання кави (x) вказує на рак легень (y)

Змішування впливів (confounding)

Вживання кави (x) вказує на рак легень (y), зверху куріння (змішувальна змінна)

Змішування впливів (confounding)

Вживання кави (x) вказує на рак легень (y) з курінням (змішувальна змінна). Подвійна стрілка між курінням і вживанням кави з міткою «зв'язок».

Змішування впливів (confounding)

Вживання кави (x) вказує на рак легень (y) з курінням (змішувальна змінна). Подвійна стрілка між курінням і вживанням кави з міткою «зв'язок». Стрілка від куріння до раку легень з міткою «причинність».

Змішування впливів (confounding)

Вживання кави (x) з подвійною стрілкою до раку легень (y) з міткою «зв'язок». Подвійна стрілка між курінням і вживанням кави з міткою «зв'язок». Стрілка від куріння до раку легень з міткою «причинність».

Свята (x) вказують на роздрібні продажі (y). Спецпропозиції (змішувальна змінна) мають подвійну стрілку до свят і одинарну — до роздрібних продажів.

Давайте потренуємось!

Вступ до Statistics у Python