Перевірка даних

Відповідальне керування даними для ШІ

Maria Prokofieva

Lead ML engineer

Що ми розглянемо

Перевірка даних
Відповідальні виміри
Фінансовий радник на ШІ

validation

Перевірка даних

Детальніший підхід
Перевірка технічної цілісності даних
Перевірка справедливості

data validation

Технічна цілісність

Повні дані
Без дублікатів, помилок і застарілих записів
Відповідність закону
Перевірки точності, узгодженості, повноти та своєчасності

Responsible data dimensions

Фінансовий радник: технічна цілісність

Розбіжності та аномалії в даних
Неправильно призначені поля
Виявляйте й виправляйте завчасно

incorrect categories example

Фінансовий радник: технічна цілісність

Аномалії в періодах і методах збору даних
Регіональні економічні відмінності
Не оптимізовано для всіх груп користувачів

anomalies in data collection methods

Оцінювання справедливості

Рівні можливості
Нерівномірний вплив
Демографічний паритет
Застосовується на всіх етапах проєкту

Фінансовий радник:

Усі отримують доречні й корисні поради
Однорідні рекомендації для всіх демографічних груп
Жодна група не зазнає непропорційного впливу

Підходи до перевірки даних

Визначте ключові змінні
Проаналізуйте розподіл даних
Очистьте дані й застосуйте статистичні тести
Збалансуйте дані
Перевірте метрики справедливості
Тестуйте моделі на різних наборах даних

Фінансовий радник

advisor logo

Видаліть викиди й заповніть пропуски
Перевірте описовою статистикою до і після
Оверсемплінг для групи з низькими доходами
Перевірте метрики якості моделі та справедливості
Перехресна валідація зі стратифікацією
Тест на «небачених» даних

Давайте потренуємось!

Відповідальне керування даними для ШІ

Preparing Video For Download...