Розподіли та викиди

Розвідувальний аналіз даних у Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Що таке розподіли?

Визначення: набір усіх можливих значень змінної та їх частот.

Що таке розподіли?

Неперервна

Age	Frequency
18	7
19	11
20	13
21	19
22	12

Що таке розподіли?

Неперервна

Age	Frequency
18	7
19	11
20	13
21	19
22	12

Категоріальна

Hair Color	Frequency
Blonde	30
Brown	50
Black	40
Red	20
Grey	20

Що таке гістограми?

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Вузькі „хвости" з обох боків і велика маса посередині.

Що таке гістограма? — біни

Гістограма зі 100 бінів

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Зі 100 бінами вона гладкіша й детальніша.

Гістограма з 20 бінами

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. З меншею кількістю бінів виглядає грубіше й „коробчасто".

Читання гістограм — центр і скошеність

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Більшість спостережень у центрі, менше — на краях.

Нормальний розподіл

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Велика маса ліворуч, праворуч поступово звужується.

Правобічно скошений розподіл

Читання гістограм — розкид

Більше стандартне відхилення

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Більшість у центрі, менше — на краях.

Менше стандартне відхилення

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Вужча, майже шпиляста, бо стандартне відхилення мале.

Читання гістограм — перцентилі

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Зелена заливка від центру ліворуч позначає 50-й перцентиль.

Читання гістограм — 25-й і 75-й перцентилі

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Дві зелені ділянки: ліворуч від 25-го та праворуч від 75-го перцентиля.

Читання гістограм — міжквартильний розмах

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Зелена ділянка між 25-м і 75-м перцентилями — міжквартильний розмах.

Що таке викид?

Гістограма зростів: по осі x — значення зросту, по осі y — кількість спостережень. Зелені ділянки на обох краях підсвічують можливі викиди.

Пошук викидів

Використовуючи стандартне відхилення

$lower = -3 * SD$

$upper = 3 * SD$

Викид, якщо

$value < lower$ АБО $value > upper$

Міжквартильний розмах (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

Викид, якщо

$value < lower$ АБО $value > upper$

Як працювати з викидами

Видалити спостереження
Імпутація

Вінзоризація

IF value < 5th percentile THEN value = 5th percentile

IF value > 95th percentile THEN value = 95th percentile

Давайте потренуємось!

Розвідувальний аналіз даних у Power BI