Что такое разведочный анализ данных?

Разведочный анализ данных в Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Что такое разведочный анализ данных?

«Подход к анализу наборов данных с целью обобщения их основных характеристик — как правило, с помощью статистической графики и других методов визуализации данных.»

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Шесть шагов разведочного анализа данных

Изучение структуры данных
Выявление пропущенных данных
Описание данных с помощью описательной статистики и распределений
Выявление выбросов
Анализ и оценка взаимосвязей между переменными
Формулирование гипотез

Шесть шагов разведочного анализа данных

Изучение структуры данных
Выявление пропущенных данных
Описание данных с помощью описательной статистики и распределений
Выявление выбросов
Анализ и оценка взаимосвязей между переменными
Формулирование гипотез

1. Изучение структуры данных

Непрерывные

Числовые переменные, которые могут принимать бесконечное множество значений

Количество звёзд во Вселенной
Показатели кликабельности
Расстояние между городами

Категориальные

Нечисловые переменные, как правило текстовые, с двумя и более группами

Типы жилья
Страна
Компания

2. Выявление пропущенных данных

Пропуски случайны

Матрица 9×4, строки сгруппированы по три для трёх городов: Сиэтл, Нью-Йорк и Париж. В 30 ячейках указаны значения осадков в дюймах, 6 ячеек случайно пусты во всех трёх группах.

Пропуски неслучайны

Матрица 9×4, строки сгруппированы по три для трёх городов: Сиэтл, Нью-Йорк и Париж. В 30 ячейках указаны значения осадков в дюймах, 4 ячейки случайно пусты только в группе Сиэтла.

2. Работа с пропущенными данными

Та же матрица 9×4, но верхняя строка удалена — это иллюстрирует удаление пустых ячеек.

Та же матрица 9×4, но в верхней строке теперь есть значения — это иллюстрирует заполнение пустых ячеек медианным значением.

3. Описание данных

Минимум
Максимум
Среднее: сумма всех значений, делённая на число наблюдений
Медиана: значение в центре диапазона
Стандартное отклонение: среднее отклонение значений переменной от среднего по всем наблюдениям

3. Описание данных с помощью распределений

Гистограмма роста людей: по оси X — значения роста, по оси Y — число наблюдений.

Медиана и среднее совпадают
Симметричная кривая

3. Описание данных с помощью распределений

Гистограмма доходов домохозяйств: по оси X — значения дохода, по оси Y — число наблюдений. Гистограмма шире слева и сужается вправо.

Медиана < Среднее
«Правосторонняя асимметрия»: хвост направлен вправо

Гистограмма времени, проведённого в сети: по оси X — значения времени, по оси Y — число наблюдений. Гистограмма узкая слева и расширяется вправо.

Медиана > Среднее
«Левосторонняя асимметрия»: хвост направлен влево

Набор данных: объявления AirBnB

Набор данных AirBnB с пятью столбцами: listing_id, host_id, host_since (столбец с датой), city и price.

Давайте потренируемся!

Разведочный анализ данных в Power BI