Що таке розвідувальний аналіз даних?

Розвідувальний аналіз даних у Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Що таке розвідувальний аналіз даних?

«Підхід до аналізу наборів даних для узагальнення їхніх основних характеристик, часто з використанням статистичних графіків та інших методів візуалізації даних.»

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Шість кроків EDA

Розуміння структури даних
Виявлення пропусків
Опис даних описовою статистикою та розподілами
Виявлення викидів
Дослідження й кількісна оцінка зв'язків між змінними
Формування гіпотез

Шість кроків EDA

Розуміння структури даних
Виявлення пропусків
Опис даних описовою статистикою та розподілами
Виявлення викидів
Дослідження й кількісна оцінка зв'язків між змінними
Формування гіпотез

1. Розуміння структури даних

Неперервні

Числові змінні, що можуть набувати нескінченно багато значень

Кількість зір у космосі
Рівень кліків (CTR)
Відстань між двома містами

Категоріальні

Нечислові змінні, зазвичай текстові, з двома або більше групами

Типи житла
Країна
Компанія

2. Виявлення пропусків

Пропуски випадкові (MAR)

Дев'ять-на-чотири матриця: набори по три рядки для трьох міст — Seattle, New York City і Paris. У 30 клітинках значення опадів у дюймах, 6 клітин порожні випадково по всіх містах.

Пропуски невипадкові (MNAR)

Дев'ять-на-чотири матриця: набори по три рядки для трьох міст — Seattle, New York City і Paris. У 30 клітинках значення опадів у дюймах, 4 клітини порожні лише в блоці Seattle.

2. Обробка пропусків

Та сама дев'ять-на-чотири матриця, але з вилученим верхнім рядком — видалення порожніх клітин.

Та сама матриця, але у верхньому рядку тепер є значення — імпутація порожніх клітин медіаною.

3. Опис даних

Мінімум
Максимум
Середнє: сума всіх значень, поділена на кількість спостережень
Медіана: значення посередині діапазону
Стандартне відхилення: середня відстань від середнього для змінної по всіх точках даних

3. Опис даних за розподілами

Гістограма зросту людей: по осі x — зріст, по осі y — кількість спостережень.

Медіана і середнє збігаються
Симетрична крива

3. Опис даних за розподілами

Гістограма доходів домогосподарств: по осі x — дохід, по осі y — кількість спостережень. Широка ліворуч і звужується праворуч.

Медіана < Середнього
«Право-скошений»: хвіст праворуч

Гістограма часу онлайн: по осі x — час, по осі y — кількість спостережень. Вузька ліворуч і розширюється праворуч.

Медіана > Середнього
«Ліво-скошений»: хвіст ліворуч

Набір даних: AirBnB listings

Зображення набору даних airbnb з п'ятьма стовпцями: listing_id, host_id, host_since (стовпець дати), city та price.

Давайте потренуємось!

Розвідувальний аналіз даних у Power BI