Інтеграція даних

Відповідальне керування даними для ШІ

Maria Prokofieva

Lead ML engineer

Що розглянемо

• Навіщо потрібна інтеграція
• Її переваги та складнощі
• Кроки інтеграції даних

Навіщо мати кілька джерел?

• Повна детальна картина
• Запобіжна сітка
• Різноманітність і справедливість даних
• Пояснюваність, прозорість і підзвітність

Обережно з проблемами

• Погіршення якості даних
• Поява неузгодженостей
• Посилення упереджень
• Зниження репрезентативності
• Складність моделі
• Менша прозорість і пояснюваність

¹ Зображення: Streamline HQ

Крок 1. Вибір джерел даних

• Дотримуйтесь кроків оцінювання
• Оцініть джерела даних
• Більш збалансований і повний набір даних

Крок 2. Узгодження типів даних

• Визначте спільні змінні
• Уніфікуйте назви та формати
• Нормалізуйте числові дані
• Об'єднайте категоріальні дані
• Узгодьте гранулярність даних

Крок 3. Покращення упереджень і представленості

• Зважування
  • Галузеві знання
  • Призначте ваги недо-/перепредставленим групам
• Балансування
  • Рівна представленість
  • Пере- чи недосемплювання
• Алгоритмічні перевірки
• Аналіз прогалин

Крок 4. Документуйте

• Детальні записи:
  • Кроки інтеграції даних
  • Прийняті рішення
• Детальні метадані:
  • Джерела даних
  • Методологія збору
  • Застосовані перетворення

Проєкт міського трафіку

• Оберіть джерела даних
• Визначте спільні ознаки
• Розробіть уніфіковану модель даних

¹ Зображення: Streamline HQ

Проєкт міського трафіку

• Використайте статистичні методи для упереджень і представленості
• Застосуйте коригування ваг
• Аналіз прогалин і повторне зважування
• Документуйте

Давайте потренуємось!

Відповідальне керування даними для ШІ