Ограничения источников данных

Ответственное управление данными в ИИ

Maria Prokofieva

Lead ML Engineer

Источники данных и типичные ограничения

  • Соответствие требованиям
  • Предвзятость
  • Методология
  • Роль экспертных знаний
Ответственное управление данными в ИИ

Правовые и доступные ограничения

  • Ограничения на использование данных в отдельных проектах
  • Дополнительные требования соответствия
  • Высокая стоимость

 

Соответствие данных

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Предвзятость в источниках данных

  • Систематические ошибки
  • Искажённые представления
  • Неравномерные результаты
  • Ущемление отдельных групп
Ответственное управление данными в ИИ

Виды предвзятости

  • Историческая предвзятость:
    • Устаревшие закономерности и результаты
  • Предвзятость выборки:
    • Выбор включаемых точек данных
  • Смещение выборки
    • Метод формирования выборки

Весы предвзятости

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Ограничения, связанные с предвзятостью и происхождением данных

  • Ограниченный охват данных
  • Культурные и географические ограничения
  • Узкий охват и неполное включение

   

Группа людей

Ответственное управление данными в ИИ

Ограничения, связанные с предвзятостью и методологией

  • Выбор методов сбора данных
  • Подходы к формированию выборки

Разноцветные руки с открытыми ладонями, поднятые вверх

Ответственное управление данными в ИИ

Экспертные знания в предметной области

  • Ограничения и скрытая предвзятость
  • Привлекайте экспертов на раннем этапе
  • Устраняйте ограничения до начала моделирования
Ответственное управление данными в ИИ

Проект по управлению городским трафиком

Источники данных:

  • Данные о трафике
  • Протоколы заседаний городского совета
  • Данные GPS-трекинга

Проект по управлению городским трафиком

1 Изображения: Streamline HQ
Ответственное управление данными в ИИ

Проект по управлению городским трафиком

Исторические данные о трафике:

  • Историческая предвзятость
  • Устаревшие схемы городской застройки

Данные протоколов заседаний:

  • Предвзятость выборки
  • Непропорциональное представление части жителей

данные о трафике

1 Изображения: Streamline HQ
Ответственное управление данными в ИИ

Проект по управлению городским трафиком

Данные GPS-трекинга:

  • Смещение выборки и предвзятость отбора
  • Могут не охватывать всех участников движения

gps

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Давайте потренируемся!

Ответственное управление данными в ИИ

Preparing Video For Download...