В чём проблема данных?

Преодоление предвзятости данных

Konstantinos Kattidis

Data Analytics Lead

Данные как основа решений

Принятие решений на основе данных изменило многие отрасли по всему миру
Данные и ИИ активно применяются в таких сферах, как:
- Социальная справедливость
- Отбор персонала
- Интерактивные интерфейсы, например виртуальные ассистенты

Примеры принятия решений на основе данных

Вместе с этими достижениями возникли опасения, связанные с наличием предвзятостей в подобных решениях.

Проверка резюме

Amazon отказалась от модели, которая оценивала подходящих кандидатов на вакансии, поскольку та отдавала предпочтение мужчинам

Она возникает, когда данные неполны и формируют искажённое или несправедливое представление о генеральной совокупности
Её причинами могут быть:
- Дисбаланс и недостаточная представленность
- Исторические предрассудки
- Когнитивные искажения
Она снижает точность и надёжность данных, ослабляя их эффективность при принятии решений

Источники предвзятости данных

Модель Amazon обучалась на резюме, поданных за 10 лет.
За этот период мужчины непропорционально часто принимались на работу или пользовались преимуществами при найме.
Из-за исторических закономерностей в найме модель оказалась предвзятой в пользу мужчин.
Устранение предвзятости данных требует анализа как качества набора данных, так и участвующих в процессе людей.

Коробки Amazon и проверка резюме

Преодоление предвзятости

Глава 1 — изучите влияние предвзятости данных на принятие решений и поймите, почему её важно учитывать при работе с данными.

Глава 2 — познакомьтесь с видами предвзятости при сборе данных и методами её минимизации.

Глава 3 — рассмотрите типы предвзятости, характерные для анализа данных и представления результатов. Узнайте, как её выявлять и устранять.

Преодоление предвзятости данных