Типичные проблемы с данными

Введение в грамотность работы с данными

Jess Ahmet

Content Developer, DataCamp

«Грязные» данные

«Грязные» данные — это:
- Некорректные
- Неполные
- Несогласованные
Причины: ошибки человека, технические сбои или проблемы со сбором данных
Принцип «мусор на входе — мусор на выходе»: некачественные данные ведут к неверным выводам

Грязное окно

Данные некорректны или несогласованны
Причина — ошибки человека или технические сбои при записи значений или форматов
Методы устранения:
- Если исходное значение или корректный формат известны: исправить данные
- Если неизвестны: удалить данные

Пазл с неподходящей деталью

Данные неполные
Проблема возникает, если:
- Пропущено много значений
- В пропусках прослеживаются закономерности
Методы устранения:
- Удаление данных
- Импутация

Пазл с недостающей деталью

Социальные предубеждения могут проявляться в данных как смещение данных
Приводит к нерепрезентативным данным и, следовательно, к неверным результатам
Сложно обнаружить и устранить
Методы противодействия:
- Грамотный процесс сбора данных
- Критический подход к выводам
- Интерпретируемые модели ИИ

Серый пазл с пропущенными белыми деталями

Рука в перчатке с пульверизатором

Введение в грамотность работы с данными