Выбор источников данных

Ответственное управление данными в ИИ

Maria Prokofieva

Lead ML engineer

Зачем выбирать?

  • Обеспечение качества данных
  • Соответствие законодательству
  • Справедливость

 

Растерянная женщина выбирает между двумя кнопками и нажимает синюю

Ответственное управление данными в ИИ

Шаг 1. Соответствие проекту

  • Соответствие целям проекта
  • Проверка соответствия
    • Предметной области
    • Охвату
    • Ожидаемым результатам

Иконка цели

Ответственное управление данными в ИИ

Шаг 2. Целостность источника данных

  • Оценка целостности и надёжности
  • Отзывы и рекомендации
  • Прозрачность сбора данных
  • Соответствие требованиям и лицензирование
  • Высокое качество: регулярные обновления

Иконка рукопожатия и щита

Ответственное управление данными в ИИ

Шаг 3. Соответствие законодательству

  • Законность данных
  • Правовое соответствие проекта
  • Юридическая консультация:
    • Применимые законы и ограничения
    • Анонимизация данных
    • Требования к защите данных
  • Одобрение юридическим отделом

Законодательство

Ответственное управление данными в ИИ

Шаг 4. Техническое качество

  • Структурная целостность и удобство использования
  • Полнота
  • Согласованность
  • Точность
  • Актуальность

Сертификат качества

Ответственное управление данными в ИИ

Шаг 5. Предвзятость и репрезентативность

  • Анализ демографической представленности
  • Защищённые характеристики
  • Анализ распределения групп
  • Метрики справедливости
  • Дополнение данных
Ответственное управление данными в ИИ

Шаг 6. Отбор

  • Включить, если:
    • Стабильно соответствует требованиям
    • Можно скорректировать преобразованием, дополнением или алгоритмами
  • Исключить, если:
    • Недостаточно охватывает ключевые области
  • Консультация с экспертами в предметной области

Процесс выбора

Ответственное управление данными в ИИ

Проект по управлению городским трафиком

Источники данных:

  1. Данные подсчёта трафика
  2. Протоколы заседаний совета
  3. Данные GPS-слежения
  4. Упоминания дорожных условий в социальных сетях
  5. Данные опросов пассажиров

Проект по управлению городским трафиком

1 Images by Streamline HQ
Ответственное управление данными в ИИ

Проект по управлению городским трафиком

Исключить:

  • Данные из социальных сетей
  • Данные опросов пассажиров

Изменения:

  • Протоколы заседаний совета
  • Данные подсчёта трафика
    • Дополнительные данные с датчиков
  • Данные GPS
    • Дополнительные данные с камер
Ответственное управление данными в ИИ

Давайте потренируемся!

Ответственное управление данными в ИИ

Preparing Video For Download...