Распределения и выбросы

Разведочный анализ данных в Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Что такое распределения?

Определение: совокупность всех возможных значений переменной и соответствующих им частот.

Что такое распределения?

Непрерывные

Возраст	Частота
18	7
19	11
20	13
21	19
22	12

Что такое распределения?

Непрерывные

Возраст	Частота
18	7
19	11
20	13
21	19
22	12

Категориальные

Цвет волос	Частота
Светлые	30
Каштановые	50
Чёрные	40
Рыжие	20
Седые	20

Что такое гистограммы?

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Гистограмма имеет узкие «хвосты» по обе стороны от большого скопления значений в центре.

Гистограммы — столбцы (bins)

Гистограмма со 100 столбцами

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Гистограмма более плавная и детализированная при 100 столбцах.

Гистограмма с 20 столбцами

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. При меньшем числе столбцов гистограмма выглядит более грубой и прямоугольной.

Чтение гистограмм — центральная тенденция и скошенность

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Большая часть наблюдений сосредоточена в центре, к краям их становится меньше.

Нормальное распределение

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Большая часть наблюдений сосредоточена слева, а к правому краю их становится значительно меньше.

Распределение с правым скосом

Чтение гистограмм — разброс

Большее стандартное отклонение

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Большая часть наблюдений в центре, к краям их меньше.

Меньшее стандартное отклонение

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Гистограмма узкая, почти остроконечная — стандартное отклонение мало.

Чтение гистограмм — перцентили

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Зелёная область от центра до левого края соответствует 50-му перцентилю.

Чтение гистограмм — 25-й и 75-й перцентили

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Две зелёные области: одна от левого края до 25-го перцентиля, другая — от 75-го перцентиля до правого края.

Чтение гистограмм — межквартильный размах

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Зелёная область от 25-го до 75-го перцентиля соответствует межквартильному размаху.

Что такое выброс?

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений. Зелёные области по краям выделяют возможные выбросы.

Поиск выбросов

На основе стандартного отклонения

$lower = -3 * SD$

$upper = 3 * SD$

Выброс, если

$value < lower$ OR $value > upper$

Межквартильный размах (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

Выброс, если

$value < lower$ OR $value > upper$

Работа с выбросами

Удаление наблюдений
Импутация

Винсоризация

IF value < 5th percentile THEN value = 5th percentile

IF value > 95th percentile THEN value = 95th percentile

Давайте потренируемся!

Разведочный анализ данных в Power BI