Базы данных и проверка качества

Демистификация науки о принятии решений

Howard Friedman

Adjunct Professor at Columbia University

Триаж источников данных

Не все данные одинаково полезны

Одни наборы данных требуют серьёзной очистки или лишены значимых признаков
Другие могут вовсе не оправдать затраченных усилий

Триаж данных помогает быстро расставить приоритеты

Оцените пригодность набора данных до того, как вкладывать время и ресурсы

Начните с доступности

Данные легко получить или они за платным доступом
Есть ли ограничения по правам доступа или безопасности
Решить это на раннем этапе — значит избежать напрасных усилий

Ключевые проверки

Учитывайте затраты

Есть ли лицензионные или иные платежи за доступ
Потребуется ли платить за хранение или специализированные инструменты

Оцените полезность

Содержит ли набор данных то, что нужно для анализа
Проверьте охват, детализацию, полноту и релевантность признаков

Проверьте частоту обновлений

Прогнозы в реальном времени требуют актуальных или регулярно обновляемых данных
Несовпадение циклов обновления может сделать данные непригодными

Оцените географический охват

Соответствуют ли данные пространственному уровню вашего анализа
Данные на уровне страны не подойдут, если нужна детализация до почтового индекса

Проверки качества данных

Качество данных имеет значение

Плохие данные способны испортить модели и привести к неверным решениям
«Мусор на входе — мусор на выходе» — реальный риск в науке о данных

Следите за пропущенными значениями

Доля пропусков в каждом столбце
Паттерны, указывающие на системные проблемы со сбором данных

Выполняйте базовые проверки диапазонов

Есть ли значения, которые не имеют смысла в вашем контексте
Примеры: возраст = 450 или цена = -$10
Используйте проверки, чтобы выявить серьёзные проблемы на раннем этапе

Дополнительные проверки

Анализируйте выбросы

Используйте гистограммы или ящичные диаграммы для визуализации
Перед исключением данных обсудите их с заинтересованными сторонами

Оцените актуальность

Достаточно ли свежи данные для решаемой задачи
В быстро меняющихся контекстах нужны часто обновляемые данные

Обеспечьте согласованность форматирования

Ищите несогласованные форматы дат, ошибки в написании или несоответствия в именах столбцов
Очистите и стандартизируйте данные, чтобы избежать проблем при анализе

Давайте потренируемся!

Демистификация науки о принятии решений

Preparing Video For Download...