Качество данных и загрузка данных

Концепции MLOps

Folkert Stijnman

ML Engineer

Качество данных и загрузка данных

Что такое качество данных?

• Качество данных — мера того, насколько данные соответствуют своему назначению
• Оценивается по различным измерениям
• Качество модели МО зависит от качества данных

Измерения качества данных

• Точность
• Полнота
• Согласованность
• Актуальность

Примеры измерений качества данных

Измерение	Пример вопроса	Пример проблемы с качеством
Точность	Корректно ли данные описывают клиента?	В данных указан возраст 18 лет, а фактически клиенту 32 года.
Полнота	Все ли данные о клиенте присутствуют?	У 80% клиентов отсутствует фамилия.
Согласованность	Единообразно ли определение клиента во всей компании?	В одной базе данных клиент указан как активный, в другой — нет.
Актуальность	Когда доступны данные о заказах клиента?	Заказы синхронизируются в конце дня и недоступны в режиме реального времени.

Низкое качество данных — не конец проекта!

Загрузка данных

Давайте потренируемся!

Концепции MLOps