Zastrzeżenia dotyczące korelacji

Wprowadzenie do statystyki w Pythonie

Maggie Matsui

Content Developer, DataCamp

Relacje nieliniowe

Wykres punktowy zmiennych z relacją kwadratową

$$r = 0.18$$

Relacje nieliniowe

Co widzimy:

Wykres punktowy zmiennych z relacją kwadratową z krzywą trendu

Co widzi współczynnik korelacji:

Wykres punktowy zmiennych z relacją kwadratową z liniową linią trendu

Korelacja uwzględnia tylko relacje liniowe

Korelacji nie należy stosować bezkrytycznie

df['x'].corr(df['y'])

0.081094

Zawsze wizualizuj dane

Wykres punktowy zmiennych z relacją kwadratową

Dane o śnie ssaków

print(msleep)

                 name       genus   vore         order  ... sleep_cycle  awake  brainwt   bodywt
1             Cheetah    Acinonyx  carni     Carnivora  ...         NaN   11.9      NaN   50.000
2          Owl monkey       Aotus   omni      Primates  ...         NaN    7.0  0.01550    0.480
3     Mountain beaver  Aplodontia  herbi      Rodentia  ...         NaN    9.6      NaN    1.350
4 Greater short-ta...     Blarina   omni  Soricomorpha  ...    0.133333    9.1  0.00029    0.019
5                 Cow         Bos  herbi  Artiodactyla  ...    0.666667   20.0  0.42300  600.000
..                ...         ...    ...           ...  ...         ...    ...      ...      ...
79         Tree shrew      Tupaia   omni    Scandentia  ...    0.233333   15.1  0.00250    0.104
80 Bottle-nosed do...    Tursiops  carni       Cetacea  ...         NaN   18.8      NaN  173.330
81              Genet     Genetta  carni     Carnivora  ...         NaN   17.7  0.01750    2.000
82         Arctic fox      Vulpes  carni     Carnivora  ...         NaN   11.5  0.04450    3.380
83            Red fox      Vulpes  carni     Carnivora  ...    0.350000   14.2  0.05040    4.230

Masa ciała vs czas czuwania

Wykres punktowy masy ciała vs czas czuwania

msleep['bodywt'].corr(msleep['awake'])

0.3119801

Rozkład masy ciała

Histogram zmiennej bodywt

Transformacja logarytmiczna

msleep['log_bodywt'] = np.log(msleep['bodywt'])


sns.lmplot(x='log_bodywt',
           y='awake',
           data=msleep,
           ci=None)
plt.show()

msleep['log_bodywt'].corr(msleep['awake'])

0.5687943

Wykres punktowy log masy ciała vs czas czuwania

Inne transformacje

Transformacja logarytmiczna (log(x))
Transformacja pierwiastkowa (sqrt(x))
Transformacja odwrotna (1 / x)
Kombinacje, np.:
- log(x) i log(y)
- sqrt(x) i 1 / y

Po co stosować transformację?

Niektóre metody statystyczne wymagają liniowej zależności między zmiennymi
- Współczynnik korelacji
- Regresja liniowa

Introduction to Linear Modeling in Python

Korelacja nie oznacza przyczynowości

x jest skorelowane z y nie oznacza, że x powoduje y

Wykres punktowy spożycia margaryny na mieszkańca w USA vs wskaźnik rozwodów w Maine. Zmienne są silnie skorelowane, współczynnik korelacji wynosi 0,99

Zmienne zakłócające

Picie kawy (x) wskazujące na raka płuc (y)

Zmienne zakłócające

Picie kawy (x) wskazujące na raka płuc (y) z paleniem (zmienna zakłócająca) powyżej

Zmienne zakłócające

Picie kawy (x) wskazujące na raka płuc (y) z paleniem (zmienna zakłócająca). Dwukierunkowa strzałka między paleniem a piciem kawy, oznaczona "asocjacja".

Zmienne zakłócające

Picie kawy (x) wskazujące na raka płuc (y) z paleniem (zmienna zakłócająca). Dwukierunkowa strzałka między paleniem a piciem kawy, oznaczona "asocjacja". Strzałka od palenia do raka płuc oznaczona "przyczynowość"

Zmienne zakłócające

Picie kawy (x) z dwukierunkową strzałką do raka płuc (y) oznaczoną "asocjacja". Dwukierunkowa strzałka między paleniem a piciem kawy, oznaczona "asocjacja". Strzałka od palenia do raka płuc oznaczona "przyczynowość".

Święta (x) wskazują na sprzedaż detaliczną (y). Promocje (zmienna zakłócająca) mają dwukierunkową strzałkę do świąt i jednokierunkową do sprzedaży detalicznej.

Czas na ćwiczenia!

Wprowadzenie do statystyki w Pythonie