Виды предвзятости данных

Преодоление предвзятости данных

Konstantinos Kattidis

Data Analytics Lead

Механизмы принятия решений

Человек, принимающий решения о карьере и ужине

Взрослые люди принимают около 35 000 осознанных решений в день

«Какую карьеру выбрать?»

«Что приготовить на ужин?»

  • Эвристики помогают мозгу упрощать обработку информации и принимать решения быстрее

  • НО эвристики могут порождать... когнитивные искажения

1 https://hbr.org/2023/12/a-simple-way-to-make-better-decisions
Преодоление предвзятости данных

Когнитивные искажения

Систематические отклонения от нормы или рациональности в суждениях и процессах принятия решений

  • Предвзятость данных может быть следствием когнитивных искажений

  • Например: аналитик неосознанно акцентирует внимание на позитивных данных при анализе маркетинговой кампании

Аналитик, сосредоточенный на позитивных данных

Преодоление предвзятости данных

Системные искажения

  • В отличие от когнитивных искажений, связанных с индивидуальным принятием решений, системные искажения отражают более широкие проблемы в работе с данными
  • Они заложены в процессах, структурах или системах сбора, анализа и интерпретации данных
  • Их причины разнообразны: предвзятые методы сбора данных, особенности алгоритмического проектирования и др.

Женщина, размышляющая о системных искажениях

Преодоление предвзятости данных

Предвзятость в жизненном цикле данных

Диаграмма жизненного цикла данных и искажений

  • Системные и когнитивные искажения — первопричины предвзятости данных
  • Понимание различных типов такой предвзятости — первый шаг к защите от её последствий
Преодоление предвзятости данных

Искажения при сборе данных

  • Искажение выборки
    • Процесс сбора данных отдаёт предпочтение определённым группам или характеристикам
  • Историческое искажение
    • Исторические данные отражают прошлое неравенство или системные проблемы
  • Искажение измерений
    • Инструменты или методологии систематически искажают отдельные атрибуты

Диаграмма искажений в жизненном цикле данных, сбор данных

Преодоление предвзятости данных

Искажения при анализе данных

  • Когнитивное искажение
    • Одна из распространённых форм — предвзятость подтверждения
    • Это склонность искать и интерпретировать информацию, подтверждающую уже существующие убеждения
  • Искажение отчётности
    • Возникает, когда одни результаты намеренно выделяются, а другие замалчиваются, формируя нужную интерпретацию данных

Диаграмма искажений в жизненном цикле данных, анализ данных

Преодоление предвзятости данных

Предвзятость при разработке моделей

  • Алгоритмическое искажение

    • Возникает, когда модели машинного обучения воспроизводят предвзятость, присутствующую в обучающих данных

  • Искажение автоматизации

    • Подчёркивает важность контроля со стороны человека: автоматизированные процессы могут неосознанно закреплять или усиливать существующие искажения

Диаграмма искажений в жизненном цикле данных, алгоритмы

Преодоление предвзятости данных

Давайте потренируемся!

Преодоление предвзятости данных

Preparing Video For Download...