Термины и понятия качества данных

Введение в качество данных

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Что такое качество данных

  • Качество данных: степень пригодности данных для решения задачи
  • Высокое качество данных = доверие к данным
    • Более взвешенные бизнес-решения
    • Более эффективные бизнес-процессы
  • Нередко качество данных принимают как данность
  • Качество данных необходимо измерять и отслеживать, чтобы убедиться в их пригодности.

таблица данных

Введение в качество данных

Измерения качества данных

Измерение качества данных: оценка конкретного атрибута качества данных

  • Используйте измерения качества, чтобы определить степень пригодности данных.
    • Полнота
    • Валидность
    • Уникальность
    • Согласованность
    • Актуальность
    • Точность

куб

Введение в качество данных

Полнота как измерение качества данных

сетка

Полнота:

  • На уровне набора данных: степень присутствия всех ожидаемых записей.
  • На уровне элемента данных: степень заполненности полей во всех записях.
  • Бизнес-проблемы из-за неполных данных:
    • Искажение показателей
    • Негативные последствия для клиентов
Введение в качество данных

Пример полноты данных

таблица данных

Поле CustomerName должно быть заполнено во всех записях.

Введение в качество данных

Валидность как измерение качества данных

Валидность: степень соответствия значений элемента данных допустимым

  • Требует бизнес-контекста
  • Определите список или критерии допустимых значений
  • Числовая оценка валидности = количество допустимых / общее количество

сетка

Введение в качество данных

Пример валидности данных

таблица данных

  • Значение CustomerBirthDate должно быть датой в прошлом.
  • Значение CustomerAccountType должно быть Loan или Deposit.
  • Значение LatestAccountOpenDate должно быть датой в прошлом.
Введение в качество данных

Уникальность как измерение качества данных

полосатый квадрат

Уникальность: степень отсутствия дублирующихся записей в наборе данных

  • Для определения уникальности записей необходим бизнес-контекст
  • Дубликаты могут выявляться по одному или нескольким столбцам
Введение в качество данных

Пример уникальности данных

таблица данных

Каждая запись должна иметь уникальные CustomerID и CustomerName.

Введение в качество данных

Давайте потренируемся!

Введение в качество данных

Preparing Video For Download...