Limitele corelației

Introducere în Statistică cu Python

Maggie Matsui

Content Developer, DataCamp

Relații neliniare

Grafic de dispersie al variabilelor cu relație pătratică

$$r = 0.18$$

Introducere în Statistică cu Python

Relații neliniare

Ce observăm:

Grafic de dispersie al variabilelor cu relație pătratică și linie de tendință pătratică

Ce vede coeficientul de corelație:

Grafic de dispersie al variabilelor cu relație pătratică și linie de tendință liniară

Introducere în Statistică cu Python

Corelația surprinde doar relații liniare

Corelația nu trebuie aplicată orbește

df['x'].corr(df['y'])

0.081094

Vizualizați întotdeauna datele

Grafic de dispersie al variabilelor cu relație pătratică

Introducere în Statistică cu Python

Date despre somnul mamiferelor

print(msleep)

                 name       genus   vore         order  ... sleep_cycle  awake  brainwt   bodywt
1             Cheetah    Acinonyx  carni     Carnivora  ...         NaN   11.9      NaN   50.000
2          Owl monkey       Aotus   omni      Primates  ...         NaN    7.0  0.01550    0.480
3     Mountain beaver  Aplodontia  herbi      Rodentia  ...         NaN    9.6      NaN    1.350
4 Greater short-ta...     Blarina   omni  Soricomorpha  ...    0.133333    9.1  0.00029    0.019
5                 Cow         Bos  herbi  Artiodactyla  ...    0.666667   20.0  0.42300  600.000
..                ...         ...    ...           ...  ...         ...    ...      ...      ...
79         Tree shrew      Tupaia   omni    Scandentia  ...    0.233333   15.1  0.00250    0.104
80 Bottle-nosed do...    Tursiops  carni       Cetacea  ...         NaN   18.8      NaN  173.330
81              Genet     Genetta  carni     Carnivora  ...         NaN   17.7  0.01750    2.000
82         Arctic fox      Vulpes  carni     Carnivora  ...         NaN   11.5  0.04450    3.380
83            Red fox      Vulpes  carni     Carnivora  ...    0.350000   14.2  0.05040    4.230
Introducere în Statistică cu Python

Greutate corporală vs. timp treaz

Grafic de dispersie: greutatea corporală vs. timp treaz

msleep['bodywt'].corr(msleep['awake'])

0.3119801
Introducere în Statistică cu Python

Distribuția greutății corporale

Histogramă a variabilei bodywt

Introducere în Statistică cu Python

Transformarea logaritmică

msleep['log_bodywt'] = np.log(msleep['bodywt'])


sns.lmplot(x='log_bodywt',
           y='awake',
           data=msleep,
           ci=None)
plt.show()

msleep['log_bodywt'].corr(msleep['awake'])

0.5687943

Grafic de dispersie: log greutate corporală vs. timp treaz

Introducere în Statistică cu Python

Alte transformări

  • Transformare logaritmică (log(x))
  • Transformare prin rădăcină pătrată (sqrt(x))

  • Transformare reciprocă (1 / x)

  • Combinații ale acestora, ex.:

    • log(x) și log(y)
    • sqrt(x) și 1 / y
Introducere în Statistică cu Python

De ce să folosim o transformare?

  • Anumite metode statistice presupun relații liniare între variabile
    • Coeficientul de corelație
    • Regresia liniară

 

Introduction to Linear Modeling in Python

Introducere în Statistică cu Python

Corelația nu implică cauzalitate

                x este corelat cu y nu înseamnă x cauzează y

Grafic de dispersie: consumul de margarină per capita în SUA vs. rata divorțurilor în Maine. Variabilele sunt puternic corelate, cu un coeficient de corelație de 0,99

Introducere în Statistică cu Python

Factori de confuzie

  Consumul de cafea (x) indicând spre cancer pulmonar (y)

Introducere în Statistică cu Python

Factori de confuzie

  Consumul de cafea (x) indicând spre cancer pulmonar (y), cu fumatul (factor de confuzie) deasupra

Introducere în Statistică cu Python

Factori de confuzie

  Consumul de cafea (x) indicând spre cancer pulmonar (y), cu fumatul (factor de confuzie). Săgeată dublă între fumat și consumul de cafea, etichetată „asociere".

Introducere în Statistică cu Python

Factori de confuzie

  Consumul de cafea (x) indicând spre cancer pulmonar (y), cu fumatul (factor de confuzie). Săgeată dublă între fumat și consumul de cafea, etichetată „asociere". Săgeată de la fumat la cancer pulmonar, etichetată „cauzalitate"

Introducere în Statistică cu Python

Factori de confuzie

  Consumul de cafea (x) cu săgeată dublă spre cancer pulmonar (y), etichetată „asociere". Săgeată dublă între fumat și consumul de cafea, etichetată „asociere". Săgeată de la fumat la cancer pulmonar, etichetată „cauzalitate".

  Sărbătorile (x) indică spre vânzările cu amănuntul (y). Ofertele speciale (factor de confuzie) au săgeată dublă spre sărbători și săgeată simplă spre vânzările cu amănuntul.

Introducere în Statistică cu Python

Să exersăm!

Introducere în Statistică cu Python

Preparing Video For Download...