Типичные проблемы с данными

Введение в грамотность работы с данными

Anneleen Rummens

Data Scientist

«Грязные» данные

  • «Грязные» данные — это:

    • Некорректные
    • Неполные
    • Несогласованные

  • Причины: ошибки человека, технические сбои или проблемы со сбором данных

  • Принцип «мусор на входе — мусор на выходе»: некачественные данные ведут к неверным выводам

Грязное окно

Введение в грамотность работы с данными

Ошибки в данных

  • Данные некорректны или несогласованны
  • Причина — ошибки человека или технические сбои при записи значений или форматов
  • Методы устранения:
    • Если исходное значение или корректный формат известны: исправить данные
    • Если неизвестны: удалить данные

Пазл с неподходящей деталью

Введение в грамотность работы с данными

Пропущенные данные

  • Данные неполные
  • Проблема возникает, если:
    • Пропущено много значений
    • В пропусках прослеживаются закономерности
  • Методы устранения:
    • Удаление данных
    • Импутация

Пазл с недостающей деталью

Введение в грамотность работы с данными

Смещение данных

  • Социальные предубеждения могут проявляться в данных как смещение данных
  • Приводит к нерепрезентативным данным и, следовательно, к неверным результатам
  • Сложно обнаружить и устранить
  • Методы противодействия:
    • Грамотный процесс сбора данных
    • Критический подход к выводам
    • Интерпретируемые модели ИИ

Серый пазл с пропущенными белыми деталями

Введение в грамотность работы с данными

Очистка данных

  • Набор методов для решения проблем с данными
  • Важный этап подготовки к любому анализу данных
  • Однако не все проблемы с данными решаемы полностью
  • Какой-либо анализ провести всегда возможно

Рука в перчатке с пульверизатором

Введение в грамотность работы с данными

Давайте потренируемся!

Введение в грамотность работы с данными

Preparing Video For Download...