Джерела даних

Відповідальне керування даними для ШІ

Maria Prokofieva

Lead ML engineer

Далі…

  • Типи джерел даних
  • Обмеження та вибір
  • Інтеграція кількох джерел

Люди беруть документи з полиць, користуються лупою та шукають файли в електронній базі

Відповідальне керування даними для ШІ

Чому джерело даних важливе

  • Цілісність
  • Різноманітність
  • Справедливе представлення

приготування з джерел даних

1 Зображення: Streamline HQ
Відповідальне керування даними для ШІ

Типи за походженням

  • Первинні

    • Дані, зібрані в межах проєкту
    • Відповідність і згода

  • Вторинні

    • Дані з наявних ресурсів
    • Ліцензійні угоди

Абстракція ліцензійного договору

Відповідальне керування даними для ШІ

Типи за природою

  • Кількісні

    • Числові дані

  • Якісні

    • Нечислові

  • Змішані

    • Поєднання числових і нечислових

від чисел до тексту

1 Зображення: Streamline HQ
Відповідальне керування даними для ШІ

Типи за часовістю

  • Статичні
    • Не змінюються з часом
    • Дані перепису
    • Адреси компаній
  • Динамічні
    • Оновлюються в реальному часі
    • Потоки з соцмереж
    • API
    • Біржові стрічки
    • Дані сенсорів

динамічні потоки

1 Зображення: Streamline HQ
Відповідальне керування даними для ШІ

Різноманітність і справедливість у джерелах даних

  • Прямі упередження збирачів даних
  • Перевірки вимірюваних упереджень
  • Неповне відображення поточної реальності, застарілі упередження
  • Успадковані упередження з первинного контексту
  • Тонкий, нюансований аналіз
  • Постійно змінюються, можуть вносити упередження в реальному часі
Відповідальне керування даними для ШІ

Міський проєкт потоків трафіку

Джерела даних:

  • Історичні дані про трафік
  • Протоколи засідань міськради
  • Дані GPS-відстеження

Проєкт міського трафіку

1 Зображення: Streamline HQ
Відповідальне керування даними для ШІ

Історичні дані про трафік

  • Департамент транспорту міста
  • Останні 5 років
  • Містить підрахунки авто та час доби/дня тижня

Це первинне статичне кількісне джерело

дані трафіку

1 Зображення: Streamline HQ
Відповідальне керування даними для ШІ

Протоколи засідань ради

  • Публічні записи на сайті ради
  • Огляди з міського планування та управління трафіком

Це якісне вторинне джерело

протоколи

1 Зображення: Streamline HQ
Відповідальне керування даними для ШІ

Дані GPS

  • Первинне динамічне джерело
  • Надає миттєві відомості про поточні умови, швидкості та затримки

GPS

1 Зображення: Streamline HQ
Відповідальне керування даними для ШІ

Давайте потренуємось!

Відповідальне керування даними для ШІ

Preparing Video For Download...