Источники данных

Ответственное управление данными в ИИ

Maria Prokofieva

Lead ML engineer

В этом уроке..

  • Типы источников данных
  • Ограничения и выбор
  • Интеграция нескольких источников

Люди извлекают документы с полок, используют лупу и ищут файлы в электронной базе данных

Ответственное управление данными в ИИ

Почему источник данных важен

  • Целостность
  • Разнообразие
  • Справедливое представление

приготовление из источника данных

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Типы по происхождению

  • Первичные

    • Данные, собранные в рамках проекта
    • Соответствие требованиям и согласие

  • Вторичные

    • Данные из существующих ресурсов
    • Лицензионные соглашения

Абстрактная концепция лицензионного договора

Ответственное управление данными в ИИ

Типы по характеру данных

  • Количественные

    • Числовые данные

  • Качественные

    • Нечисловые

  • Смешанные

    • Сочетание числовых и нечисловых данных

от чисел к тексту

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Типы по временно́му признаку

  • Статические
    • Не изменяются со временем
    • Данные переписи
    • Адреса компаний
  • Динамические
    • Обновляются в реальном времени
    • Потоки социальных сетей
    • API
    • Финансовые рыночные потоки
    • Данные датчиков

динамические потоки

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Разнообразие и объективность источников данных

  • Прямые предубеждения сборщиков данных
  • Измеримые проверки смещений
  • Неточное отражение текущей реальности, устаревшие предубеждения
  • Унаследованные предубеждения из исходного контекста
  • Детальный анализ
  • Постоянное развитие с возможным появлением предубеждений в реальном времени
Ответственное управление данными в ИИ

Проект по управлению городским трафиком

Источники данных:

  • Исторические данные о трафике
  • Материалы заседаний городского совета
  • Данные GPS-слежения

Проект по управлению городским трафиком

1 Изображения: Streamline HQ
Ответственное управление данными в ИИ

Исторические данные о трафике

  • Городской департамент транспорта
  • Последние 5 лет
  • Включает подсчёт транспортных средств и время суток/недели

Это первичный статический количественный источник

данные о трафике

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Протоколы заседаний совета

  • Публичные записи на сайте совета
  • Сводки по градостроительству и управлению трафиком

Это качественный вторичный источник

протоколы

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Данные GPS

  • Первичный динамический источник
  • Актуальные сведения о состоянии трафика, скорости и задержках

GPS

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Давайте потренируемся!

Ответственное управление данными в ИИ

Preparing Video For Download...