Úskalí korelace

Úvod do statistiky v Pythonu

Maggie Matsui

Content Developer, DataCamp

Nelineární vztahy

Bodový graf proměnných s kvadratickým vztahem

$$r = 0.18$$

Nelineární vztahy

Co vidíme:

Bodový graf proměnných s kvadratickým vztahem s kvadratickou spojnicí trendu

Co vidí korelační koeficient:

Bodový graf proměnných s kvadratickým vztahem s lineární spojnicí trendu

Korelace zachycuje pouze lineární vztahy

Korelaci nelze používat slepě

df['x'].corr(df['y'])

0.081094

Vždy vizualizujte svá data

Bodový graf proměnných s kvadratickým vztahem

Data o spánku savců

print(msleep)

                 name       genus   vore         order  ... sleep_cycle  awake  brainwt   bodywt
1             Cheetah    Acinonyx  carni     Carnivora  ...         NaN   11.9      NaN   50.000
2          Owl monkey       Aotus   omni      Primates  ...         NaN    7.0  0.01550    0.480
3     Mountain beaver  Aplodontia  herbi      Rodentia  ...         NaN    9.6      NaN    1.350
4 Greater short-ta...     Blarina   omni  Soricomorpha  ...    0.133333    9.1  0.00029    0.019
5                 Cow         Bos  herbi  Artiodactyla  ...    0.666667   20.0  0.42300  600.000
..                ...         ...    ...           ...  ...         ...    ...      ...      ...
79         Tree shrew      Tupaia   omni    Scandentia  ...    0.233333   15.1  0.00250    0.104
80 Bottle-nosed do...    Tursiops  carni       Cetacea  ...         NaN   18.8      NaN  173.330
81              Genet     Genetta  carni     Carnivora  ...         NaN   17.7  0.01750    2.000
82         Arctic fox      Vulpes  carni     Carnivora  ...         NaN   11.5  0.04450    3.380
83            Red fox      Vulpes  carni     Carnivora  ...    0.350000   14.2  0.05040    4.230

Hmotnost těla vs. doba bdění

Bodový graf hmotnosti těla vs. doby bdění

msleep['bodywt'].corr(msleep['awake'])

0.3119801

Rozdělení hmotnosti těla

Histogram proměnné bodywt

Logaritmická transformace

msleep['log_bodywt'] = np.log(msleep['bodywt'])


sns.lmplot(x='log_bodywt',
           y='awake',
           data=msleep,
           ci=None)
plt.show()

msleep['log_bodywt'].corr(msleep['awake'])

0.5687943

Bodový graf log(hmotnost) vs. doba bdění

Další transformace

Logaritmická transformace (log(x))
Transformace odmocninou (sqrt(x))
Reciproká transformace (1 / x)
Kombinace těchto transformací, např.:
- log(x) a log(y)
- sqrt(x) a 1 / y

Proč použít transformaci?

Některé statistické metody vyžadují lineární vztah mezi proměnnými
- Korelační koeficient
- Lineární regrese

Introduction to Linear Modeling in Python

Korelace neznamená příčinnost

x koreluje s y neznamená x způsobuje y

Bodový graf spotřeby margarínu na obyvatele v USA vs. míry rozvodovosti v Maine. Proměnné vykazují vysokou korelaci s korelačním koeficientem 0,99

Konfundující proměnná

Pití kávy (x) ukazuje na rakovinu plic (y)

Konfundující proměnná

Pití kávy (x) ukazuje na rakovinu plic (y) s kouřením (konfundující proměnná) nahoře

Konfundující proměnná

Pití kávy (x) ukazuje na rakovinu plic (y) s kouřením (konfundující proměnná). Obousměrná šipka mezi kouřením a pitím kávy označená „asociace".

Konfundující proměnná

Pití kávy (x) ukazuje na rakovinu plic (y) s kouřením (konfundující proměnná). Obousměrná šipka mezi kouřením a pitím kávy označená „asociace". Šipka z kouření na rakovinu plic označená „příčinnost"

Konfundující proměnná

Pití kávy (x) s obousměrnou šipkou na rakovinu plic (y) označenou „asociace". Obousměrná šipka mezi kouřením a pitím kávy označená „asociace". Šipka z kouření na rakovinu plic označená „příčinnost".

Svátky (x) ukazují na maloobchodní tržby (y). Speciální nabídky (konfundující proměnná) mají obousměrnou šipku ke svátkům a jednosměrnou šipku k maloobchodním tržbám.

Pojďme procvičovat!

Úvod do statistiky v Pythonu