Види упереджень у даних

Опановуємо упередженість у даних

Konstantinos Kattidis

Data Analytics Lead

Динаміка прийняття рішень

Людина вирішує, що на вечерю і яку карʼєру обрати

Дорослі роблять приблизно 35 000 усвідомлених рішень щодня

«Яку карʼєрну траєкторію обрати?»

«Що зʼїсти на вечерю?»

Евристики допомагають мозку спрощувати обробку інформації й швидше доходити рішень
АЛЕ евристики можуть спричиняти... когнітивні упередження

¹ https://hbr.org/2023/12/a-simple-way-to-make-better-decisions

Систематичні відхилення від норми або раціональності в судженнях і процесах прийняття рішень

Упередження в даних можуть бути наслідком таких когнітивних упереджень
Наприклад: аналітик несвідомо надає перевагу позитивним даним під час аналізу нещодавньої маркетингової кампанії

Аналітик фокусується на позитивних даних

Якщо когнітивні упередження стосуються індивідуального прийняття рішень, то системні упередження підсвічують ширші проблеми в роботі з даними
Це упередження, притаманні процесам, структурам або системам збору, аналізу й інтерпретації даних
Їхні джерела різні: упереджені методи збору даних, проєктування алгоритмів тощо

Жінка замислюється над системними упередженнями

Діаграма життєвого циклу даних і упереджень

Системні та когнітивні упередження є витоками упередженості даних
Розуміння типів упередженості даних — перший крок до надійного захисту від їхнього впливу

Вибіркове упередження
- Процес збору віддає перевагу певним групам чи ознакам над іншими
Історичне упередження
- Історичні дані відображають минулі нерівності або системні проблеми
Вимірювальне упередження
- Інструменти чи методики системно спотворюють окремі атрибути

Діаграма упереджень у життєвому циклі даних, збір даних

Когнітивне упередження
- Помітний різновид — упередження підтвердження
- Це схильність шукати й тлумачити інформацію, що підтверджує наявні переконання
Упередження звітності
- Виникає, коли окремі результати підкреслюють або замовчують, формуючи потрібну оповідь про дані

Діаграма упереджень у життєвому циклі даних, аналіз даних

Алгоритмічне упередження
- Виникає, коли моделі машинного навчання відтворюють упередження, що містяться в тренувальних даних
Упередження автоматизації
- Підкреслює важливість людського контролю, адже автоматизовані процеси можуть несвідомо підтримувати чи підсилювати наявні упередження

Діаграма упереджень у життєвому циклі даних, алгоритми

Опановуємо упередженість у даних