Интеграция данных

Ответственное управление данными в ИИ

Maria Prokofieva

Lead ML engineer

Темы урока

• Зачем нужна интеграция
• Её преимущества и сложности
• Этапы интеграции данных

Зачем использовать несколько источников?

• Полное и детальное представление
• Страховочная сеть
• Разнообразие данных и справедливость
• Объяснимость, прозрачность и подотчётность

Возможные проблемы

• Снижение качества данных
• Появление несоответствий
• Усиление смещений
• Снижение репрезентативности
• Усложнение модели
• Снижение прозрачности и объяснимости

¹ Изображение: Streamline HQ

Шаг 1. Выбор источников данных

• Следуйте шагам оценки
• Проанализируйте источники данных
• Более сбалансированный и полный набор данных

Шаг 2. Приведение типов данных

• Определите общие переменные
• Стандартизируйте названия и форматы
• Нормализуйте числовые данные
• Объедините категориальные данные
• Согласуйте гранулярность данных

Шаг 3. Устранение смещений и улучшение репрезентативности

• Взвешивание
  • Знания предметной области
  • Присвоение весов недо- или переrepresented группам
• Балансировка
  • Равное представление
  • Передискретизация или поддискретизация
• Алгоритмические проверки
• Анализ пробелов

Шаг 4. Документирование

• Подробные записи:
  • Этапы интеграции данных
  • Принятые решения
• Подробные метаданные:
  • Источники данных
  • Методология сбора
  • Применённые преобразования

Проект по анализу городского трафика

• Выберите источники данных
• Определите общие признаки
• Разработайте единую модель данных

¹ Изображения: Streamline HQ

Проект по анализу городского трафика

• Используйте статистические методы для оценки смещений и репрезентативности
• Применяйте корректировку весов
• Анализ пробелов и перевзвешивание
• Документируйте

Давайте потренируемся!

Ответственное управление данными в ИИ