Аудит данных

Ответственное управление данными в ИИ

Maria Prokofieva

Lead ML engineer

Что мы рассмотрим

• Аудит данных
• Валидация данных
• Стратегии снижения предвзятости

Аудит данных

• Полный анализ данных на всех этапах проекта

• Проверка технического состояния и соответствия требованиям

• Проводится после значительных изменений в проекте

• Обновление документации по результатам аудита

Проведение аудита данных

• Проводится регулярно
• Предотвращает непреднамеренное появление ошибок
• Защищает от осложнений и нарастания ошибок
• Обеспечивает прозрачность и подотчётность
• Укрепляет доверие

ИИ-финансовый советник

• Профиль поведения и цели планирования
• Разработка стратегии
• Подбор инвестиционных продуктов под цели
• Формирование инвестиционного портфеля

Источники данных:

• Данные пользователя из чата и загрузок
• Внешние данные в реальном времени и исторические данные (Bloomberg)

¹ Изображение: Streamline HQ

Источники данных проекта

• Данные, предоставленные пользователем
• Внешние данные через API

¹ Изображение: Streamline HQ

Подготовка к аудиту данных

Используйте план управления данными:

• Описание данных
• Периодичность аудита
• Необходимые тесты
• Ответственные участники команды

¹ Изображение: Streamline HQ

Расписание аудитов данных

• Первичный анализ данных
• Регулярный аудит при предобработке и моделировании
• Любые существенные изменения данных

¹ Изображение: Streamline HQ

Непрерывный аудит данных

• Регулярный непрерывный мониторинг
• Качество данных и соответствие требованиям
• Метрики производительности и справедливости модели
• Использование и хранение данных
• Безопасность и масштабируемость

Дрейф модели

• Точность модели может снижаться со временем
• Причины: изменения в обществе, рыночных условиях или базовых переменных
• Обнаружение дрейфа: логирование предсказаний и оценка метрик производительности
• Оповещение при выходе метрик за пороговые значения
• Устранение: поиск новых данных или переобучение модели

Аудиты данных ИИ-финансового советника

• Первичный анализ данных
• Предобработка: преобразования и очистка
• Моделирование с оценкой справедливости
• Аудит перед развёртыванием
• Непрерывный мониторинг

¹ Изображение: Streamline HQ

Давайте потренируемся!

Ответственное управление данными в ИИ