Найкращі практики валідації даних

Відповідальне керування даними для ШІ

Maria Prokofieva

Lead ML engineer

Що розглянемо

• Аналіз підгруп
• Пропуски значень
• Видалення викидів
• Усунення неузгодженостей даних
• Масштабування ознак
• Кодування ознак
• Зменшення розмірності

Аналіз підгруп

Пропущені дані

• Поширені у великих наборах даних
• Видалення даних
• Імпутація та модельні підходи
• Перевірка через аналіз підгруп

Видалення викидів

• Статистичні методи: z-оцінки, IQR або робастне масштабування
• Перевіряйте справедливе ставлення у всіх сегментах

Неузгодженості даних

• Якість даних впливає на цілісність і надійність моделі
• Стандартизація і правила валідації даних
• Нормалізація в розрізі підгруп

Масштабування ознак

• Масштабуйте ознаки для перетворення вхідних даних
• Перевіряйте розподіли між групами

Кодування ознак

• Оцініть вплив кодування на результати
• Перевірте упередження та втрату інформації
• Перевірте перенавчання
• Застосовуйте регуляризацію і зменшення розмірності

Зменшення розмірності

• Зменшуйте кількість ознак, зберігаючи ключову інформацію
• Може внести упередження
• Використовуйте методи з урахуванням справедливості, як-от t-SNE

Фінансовий радник

• Ознаки "Annual income" і "Investment frequency"
• Виправте викиди та масштабуйте
• Аналіз підгруп

Давайте потренуємось!

Відповідальне керування даними для ШІ