Fallgropar med korrelation

Introduktion till statistik i Python

Maggie Matsui

Content Developer, DataCamp

Icke-linjära samband

spridningsdiagram över variabler med ett kvadratiskt samband

$$r = 0.18$$

Icke-linjära samband

Vad vi ser:

spridningsdiagram över variabler med ett kvadratiskt samband och kvadratisk trendlinje

Vad korrelationskoefficienten ser:

spridningsdiagram över variabler med ett kvadratiskt samband och en linjär trendlinje

Korrelation fångar bara linjära samband

Använd inte korrelation okritiskt

df['x'].corr(df['y'])

0.081094

Visualisera alltid dina data

spridningsdiagram över variabler med ett kvadratiskt samband

Sömndata för däggdjur

print(msleep)

                 name       genus   vore         order  ... sleep_cycle  awake  brainwt   bodywt
1             Cheetah    Acinonyx  carni     Carnivora  ...         NaN   11.9      NaN   50.000
2          Owl monkey       Aotus   omni      Primates  ...         NaN    7.0  0.01550    0.480
3     Mountain beaver  Aplodontia  herbi      Rodentia  ...         NaN    9.6      NaN    1.350
4 Greater short-ta...     Blarina   omni  Soricomorpha  ...    0.133333    9.1  0.00029    0.019
5                 Cow         Bos  herbi  Artiodactyla  ...    0.666667   20.0  0.42300  600.000
..                ...         ...    ...           ...  ...         ...    ...      ...      ...
79         Tree shrew      Tupaia   omni    Scandentia  ...    0.233333   15.1  0.00250    0.104
80 Bottle-nosed do...    Tursiops  carni       Cetacea  ...         NaN   18.8      NaN  173.330
81              Genet     Genetta  carni     Carnivora  ...         NaN   17.7  0.01750    2.000
82         Arctic fox      Vulpes  carni     Carnivora  ...         NaN   11.5  0.04450    3.380
83            Red fox      Vulpes  carni     Carnivora  ...    0.350000   14.2  0.05040    4.230

Kroppsvikt mot vaken tid

Spridningsdiagram över kroppsvikt mot vaken tid

msleep['bodywt'].corr(msleep['awake'])

0.3119801

Fördelning av kroppsvikt

Histogram över variabeln bodywt

Logaritmisk transformation

msleep['log_bodywt'] = np.log(msleep['bodywt'])


sns.lmplot(x='log_bodywt',
           y='awake',
           data=msleep,
           ci=None)
plt.show()

msleep['log_bodywt'].corr(msleep['awake'])

0.5687943

Spridningsdiagram över log kroppsvikt mot vaken tid

Andra transformationer

Logaritmisk transformation (log(x))
Kvadratrotstransformation (sqrt(x))
Reciprok transformation (1 / x)
Kombinationer, t.ex.:
- log(x) och log(y)
- sqrt(x) och 1 / y

Varför använda en transformation?

Vissa statistiska metoder kräver linjära samband mellan variabler
- Korrelationskoefficient
- Linjär regression

Introduction to Linear Modeling in Python

Korrelation innebär inte kausalitet

x korrelerar med y betyder inte x orsakar y

Spridningsdiagram över margarinkonsumtion per capita i USA mot skilsmässofrekvens i Maine. Variablerna är starkt korrelerade med korrelationskoefficienten 0,99

Confounding

Kaffedrickande (x) pekar mot lungcancer (y)

Confounding

Kaffedrickande (x) pekar mot lungcancer (y) med rökning (confounder) ovanför

Confounding

Kaffedrickande (x) pekar mot lungcancer (y) med rökning (confounder). Dubbelpil mellan rökning och kaffedrickande, märkt "association".

Confounding

Kaffedrickande (x) pekar mot lungcancer (y) med rökning (confounder). Dubbelpil mellan rökning och kaffedrickande, märkt "association". Pil från rökning till lungcancer märkt "causation"

Confounding

Kaffedrickande (x) med dubbelpil till lungcancer (y) märkt "association". Dubbelpil mellan rökning och kaffedrickande, märkt "association". Pil från rökning till lungcancer märkt "causation".

Helgdagar (x) pekar mot detaljhandelsförsäljning (y). Specialerbjudanden (confounder) har dubbelpil till helgdagar och enkelpil till detaljhandelsförsäljning.

Nu kör vi en övning!

Introduktion till statistik i Python