Spridningsmått

Introduktion till statistik i Python

Maggie Matsui

Content Developer, DataCamp

Vad är spridning?

Två histogram: ett smalt där data bara spänner över ett fåtal värden, och ett bredare där data spänner över fler värden.

Varians

Genomsnittligt avstånd från varje datapunkt till datamängdens medelvärde

Ett punktdiagram med 7 datapunkter och en röd linje i mitten som representerar medelvärdet.

Varians

Genomsnittligt avstånd från varje datapunkt till datamängdens medelvärde

Ett punktdiagram med 7 datapunkter och en röd linje i mitten som representerar medelvärdet. Pilar är ritade mellan varje punkt och medelvärdeslinjen.

Beräkna varians

1. Subtrahera medelvärdet från varje datapunkt

dists = msleep['sleep_total'] - 
        np.mean(msleep['sleep_total'])
print(dists)

0     1.666265
1     6.566265
2     3.966265
3     4.466265
4    -6.433735
      ...

2. Kvadrera varje avstånd

sq_dists = dists ** 2
print(sq_dists)

0      2.776439
1     43.115837
2     15.731259
3     19.947524
4     41.392945
      ...

Beräkna varians

3. Summera kvadrerade avstånd

sum_sq_dists = np.sum(sq_dists)
print(sum_sq_dists)

1624.065542

4. Dela med antal datapunkter - 1

variance = sum_sq_dists / (83 - 1)
print(variance)

19.805677

Använd np.var()

np.var(msleep['sleep_total'], ddof=1)

19.805677

Utan ddof=1 beräknas populationsvarians i stället för stickprovsvarians:

np.var(msleep['sleep_total'])

19.567055

Standardavvikelse

np.sqrt(np.var(msleep['sleep_total'], ddof=1))

4.450357

np.std(msleep['sleep_total'], ddof=1)

4.450357

Medelabsolutavvikelse

dists = msleep['sleep_total'] - np.mean(msleep['sleep_total'])

np.mean(np.abs(dists))

3.566701

Standardavvikelse vs. medelabsolutavvikelse

Standardavvikelsen kvadrerar avstånden och straffar längre avstånd mer.
Medelabsolutavvikelsen straffar alla avstånd lika.
Ingen är bättre än den andra, men standardavvikelsen är vanligare än MAD.

Kvantiler

np.quantile(msleep['sleep_total'], 0.5)

10.1

0,5-kvantil = median

Kvartiler:

np.quantile(msleep['sleep_total'], [0, 0.25, 0.5, 0.75, 1])

array([ 1.9 ,  7.85, 10.1 , 13.75, 19.9 ])

Lådagram använder kvartiler

import matplotlib.pyplot as plt
plt.boxplot(msleep['sleep_total'])
plt.show()

Lådagram för sleep_total.

Kvantiler med np.linspace()

np.quantile(msleep['sleep_total'], [0, 0.2, 0.4, 0.6, 0.8, 1])

array([ 1.9 ,  6.24,  9.48, 11.14, 14.4 , 19.9 ])

np.linspace(start, stop, num)

np.quantile(msleep['sleep_total'], np.linspace(0, 1, 5))

array([ 1.9 ,  7.85, 10.1 , 13.75, 19.9 ])

Kvartilavstånd (IQR)

Lådans höjd i ett lådagram

np.quantile(msleep['sleep_total'], 0.75) - np.quantile(msleep['sleep_total'], 0.25)

5.9

from scipy.stats import iqr
iqr(msleep['sleep_total'])

5.9

Outliers

Outlier: en datapunkt som skiljer sig markant från övriga

Hur vet vi vad som är en markant skillnad? En datapunkt är en outlier om:

$\text{data} < \text{Q1} - 1.5\times\text{IQR}$ eller
$\text{data} > \text{Q3} + 1.5\times\text{IQR}$

Hitta outliers

from scipy.stats import iqr
iqr = iqr(msleep['bodywt'])

lower_threshold = np.quantile(msleep['bodywt'], 0.25) - 1.5 * iqr
upper_threshold = np.quantile(msleep['bodywt'], 0.75) + 1.5 * iqr

msleep[(msleep['bodywt'] < lower_threshold) | (msleep['bodywt'] > upper_threshold)]

                    name   vore  sleep_total    bodywt
4                    Cow  herbi          4.0   600.000
20        Asian elephant  herbi          3.9  2547.000
22                 Horse  herbi          2.9   521.000
...

Allt på en gång

msleep['bodywt'].describe()

count      83.000000
mean      166.136349
std       786.839732
min         0.005000
25%         0.174000
50%         1.670000
75%        41.750000
max      6654.000000
Name: bodywt, dtype: float64

Nu kör vi en övning!

Introduktion till statistik i Python