Miary rozrzutu

Wprowadzenie do statystyki w Pythonie

Maggie Matsui

Content Developer, DataCamp

Czym jest rozrzut?

Dwa histogramy: jeden wąski, obejmujący niewiele wartości, drugi szeroki, obejmujący więcej wartości.

Wariancja

Średnia odległość każdego punktu danych od średniej

Wykres punktowy 7 punktów danych z czerwoną linią pośrodku reprezentującą średnią.

Wariancja

Średnia odległość każdego punktu danych od średniej

Wykres punktowy 7 punktów danych z czerwoną linią pośrodku reprezentującą średnią. Strzałki narysowane między każdym punktem a linią średniej.

Obliczanie wariancji

1. Odejmij średnią od każdego punktu danych

dists = msleep['sleep_total'] - 
        np.mean(msleep['sleep_total'])
print(dists)

0     1.666265
1     6.566265
2     3.966265
3     4.466265
4    -6.433735
      ...

2. Podnieś każdą odległość do kwadratu

sq_dists = dists ** 2
print(sq_dists)

0      2.776439
1     43.115837
2     15.731259
3     19.947524
4     41.392945
      ...

Obliczanie wariancji

3. Suma kwadratów odległości

sum_sq_dists = np.sum(sq_dists)
print(sum_sq_dists)

1624.065542

4. Podziel przez liczbę punktów danych - 1

variance = sum_sq_dists / (83 - 1)
print(variance)

19.805677

Użyj np.var()

np.var(msleep['sleep_total'], ddof=1)

19.805677

Bez ddof=1 obliczana jest wariancja populacji zamiast wariancji próbki:

np.var(msleep['sleep_total'])

19.567055

Odchylenie standardowe

np.sqrt(np.var(msleep['sleep_total'], ddof=1))

4.450357

np.std(msleep['sleep_total'], ddof=1)

4.450357

Średnie odchylenie bezwzględne

dists = msleep['sleep_total'] - np.mean(msleep['sleep_total'])

np.mean(np.abs(dists))

3.566701

Odchylenie standardowe a średnie odchylenie bezwzględne

Odchylenie standardowe kwadratuje odległości, bardziej penalizując większe odchylenia.
Średnie odchylenie bezwzględne traktuje każdą odległość jednakowo.
Żadne nie jest lepsze od drugiego, ale OD jest częściej stosowane niż MAD.

Kwantyle

np.quantile(msleep['sleep_total'], 0.5)

10.1

kwantyl 0,5 = mediana

Kwartyle:

np.quantile(msleep['sleep_total'], [0, 0.25, 0.5, 0.75, 1])

array([ 1.9 ,  7.85, 10.1 , 13.75, 19.9 ])

Wykresy pudełkowe a kwartyle

import matplotlib.pyplot as plt
plt.boxplot(msleep['sleep_total'])
plt.show()

Wykres pudełkowy sleep_total.

Kwantyle z np.linspace()

np.quantile(msleep['sleep_total'], [0, 0.2, 0.4, 0.6, 0.8, 1])

array([ 1.9 ,  6.24,  9.48, 11.14, 14.4 , 19.9 ])

np.linspace(start, stop, num)

np.quantile(msleep['sleep_total'], np.linspace(0, 1, 5))

array([ 1.9 ,  7.85, 10.1 , 13.75, 19.9 ])

Rozstęp międzykwartylowy (IQR)

Wysokość pudełka na wykresie pudełkowym

np.quantile(msleep['sleep_total'], 0.75) - np.quantile(msleep['sleep_total'], 0.25)

5.9

from scipy.stats import iqr
iqr(msleep['sleep_total'])

5.9

Wartości odstające

Wartość odstająca: punkt danych znacząco różniący się od pozostałych

Jak określić, co jest znaczącą różnicą? Punkt danych jest wartością odstającą, jeśli:

$\text{data} < \text{Q1} - 1.5\times\text{IQR}$ lub
$\text{data} > \text{Q3} + 1.5\times\text{IQR}$

Wykrywanie wartości odstających

from scipy.stats import iqr
iqr = iqr(msleep['bodywt'])

lower_threshold = np.quantile(msleep['bodywt'], 0.25) - 1.5 * iqr
upper_threshold = np.quantile(msleep['bodywt'], 0.75) + 1.5 * iqr

msleep[(msleep['bodywt'] < lower_threshold) | (msleep['bodywt'] > upper_threshold)]

                    name   vore  sleep_total    bodywt
4                    Cow  herbi          4.0   600.000
20        Asian elephant  herbi          3.9  2547.000
22                 Horse  herbi          2.9   521.000
...

Wszystko naraz

msleep['bodywt'].describe()

count      83.000000
mean      166.136349
std       786.839732
min         0.005000
25%         0.174000
50%         1.670000
75%        41.750000
max      6654.000000
Name: bodywt, dtype: float64

Czas na ćwiczenia!

Wprowadzenie do statystyki w Pythonie