Міри розкиду

Вступ до Statistics у Python

Maggie Matsui

Content Developer, DataCamp

Що таке розкид?

Дві гістограми: одна вузька з даними в межах кількох значень, інша ширша з даними в ширшому діапазоні.

Дисперсія

Середня відстань від кожного значення до середнього\n\n Точкова діаграма з 7 значеннями та червоною лінією посередині, що позначає середнє.

Дисперсія

Середня відстань від кожного значення до середнього\n\n Точкова діаграма з 7 значеннями та червоною лінією посередині, що позначає середнє. Намальовано стрілки між кожною точкою та лінією середнього.

Обчислення дисперсії

1. Відніміть середнє від кожного значення

dists = msleep['sleep_total'] - 
        np.mean(msleep['sleep_total'])
print(dists)

0     1.666265
1     6.566265
2     3.966265
3     4.466265
4    -6.433735
      ...

2. Піднесіть кожну відстань до квадрату

sq_dists = dists ** 2
print(sq_dists)

0      2.776439
1     43.115837
2     15.731259
3     19.947524
4     41.392945
      ...

Обчислення дисперсії

3. Просумуйте квадрати відстаней

sum_sq_dists = np.sum(sq_dists)
print(sum_sq_dists)

1624.065542

4. Поділіть на кількість значень мінус 1

variance = sum_sq_dists / (83 - 1)
print(variance)

19.805677

Використайте np.var()

np.var(msleep['sleep_total'], ddof=1)

19.805677

Без ddof=1 обчислюється дисперсія генеральної сукупності, а не вибіркова дисперсія:

np.var(msleep['sleep_total'])

19.567055

Стандартне відхилення

np.sqrt(np.var(msleep['sleep_total'], ddof=1))

4.450357

np.std(msleep['sleep_total'], ddof=1)

4.450357

Середнє абсолютне відхилення

dists = msleep['sleep_total'] - np.mean(msleep['sleep_total'])

np.mean(np.abs(dists))

3.566701

Стандартне відхилення vs. середнє абсолютне відхилення

Стандартне відхилення використовує квадрати відстаней, сильніше штрафуючи великі відхилення.
Середнє абсолютне відхилення однаково штрафує кожну відстань.
Жодне не «краще», але SD вживається частіше, ніж MAD.

Квантілі

np.quantile(msleep['sleep_total'], 0.5)

10.1

0.5 квантиль = медіана

Квартилі:

np.quantile(msleep['sleep_total'], [0, 0.25, 0.5, 0.75, 1])

array([ 1.9 ,  7.85, 10.1 , 13.75, 19.9 ])

Вусаті діаграми використовують квартилі

import matplotlib.pyplot as plt
plt.boxplot(msleep['sleep_total'])
plt.show()

boxplot sleep_total.png

Квантілі з np.linspace()

np.quantile(msleep['sleep_total'], [0, 0.2, 0.4, 0.6, 0.8, 1])

array([ 1.9 ,  6.24,  9.48, 11.14, 14.4 , 19.9 ])

np.linspace(start, stop, num)

np.quantile(msleep['sleep_total'], np.linspace(0, 1, 5))

array([ 1.9 ,  7.85, 10.1 , 13.75, 19.9 ])

Міжквартильний розмах (IQR)

Висота коробки у вусатій діаграмі

np.quantile(msleep['sleep_total'], 0.75) - np.quantile(msleep['sleep_total'], 0.25)

5.9

from scipy.stats import iqr
iqr(msleep['sleep_total'])

5.9

Викиди

Викид: значення, що суттєво відрізняється від інших

Як визначити, що відмінність суттєва? Значення є викидом, якщо:

$\text{data} < \text{Q1} - 1.5\times\text{IQR}$ або
$\text{data} > \text{Q3} + 1.5\times\text{IQR}$

Пошук викидів

from scipy.stats import iqr
iqr = iqr(msleep['bodywt'])

lower_threshold = np.quantile(msleep['bodywt'], 0.25) - 1.5 * iqr
upper_threshold = np.quantile(msleep['bodywt'], 0.75) + 1.5 * iqr

msleep[(msleep['bodywt'] < lower_threshold) | (msleep['bodywt'] > upper_threshold)]

                    name   vore  sleep_total    bodywt
4                    Cow  herbi          4.0   600.000
20        Asian elephant  herbi          3.9  2547.000
22                 Horse  herbi          2.9   521.000
...

Все одразу

msleep['bodywt'].describe()

count      83.000000
mean      166.136349
std       786.839732
min         0.005000
25%         0.174000
50%         1.670000
75%        41.750000
max      6654.000000
Name: bodywt, dtype: float64

Давайте потренуємось!

Вступ до Statistics у Python