Правила качества данных с использованием измерений

Введение в качество данных

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Правила качества данных

Правило качества данных: бизнес-правило, проверяющее соответствие данных требованиям

  • Может быть определено:
    • На уровне набора данных
    • На уровне элемента данных

таблица с примерами правил качества на уровне набора данных и элемента данных

Введение в качество данных

Правило качества данных: полнота

Правило для набора данных: все ожидаемые записи из источника должны быть загружены в целевую таблицу.

таблица с примером правила качества по полноте

Правило для элемента данных: в каждой записи должны быть заполнены поля «ID клиента», «Имя клиента» и «Тип счёта».

таблица с примером правила качества по полноте

Введение в качество данных

Правило качества данных: своевременность

Правило для набора данных: все записи набора данных клиентов должны быть загружены до 9:00.

таблица с примером правила качества по своевременности

Правило для элемента данных: поле «ИНН» должно быть заполнено к моменту первого присвоения статуса счёта «Открыт».

таблица с примером правила качества по своевременности

Введение в качество данных

Правило качества данных: допустимость

Правило для элемента данных:

  • В каждой записи дата рождения должна быть в формате MM/DD/YYY и содержать прошедшую дату.
  • В каждой записи статус счёта должен принимать значение «Открыт», «Закрыт» или «Ожидает».

таблица с примером правила качества по допустимости

Введение в качество данных

Правило качества данных: согласованность

Правило для набора данных: количество записей, загруженных сегодня, должно отличаться от вчерашнего не более чем на +/- 5%.

таблица с примером правила качества по согласованности

Правило для элемента данных: все значения Customer ID в AccountTable должны присутствовать и в CustomerTable.

таблица с примером правила качества по согласованности

Введение в качество данных

Правило качества данных: точность

Правило для элемента данных: поля «Имя клиента», «Дата рождения» и «Адрес» в CustomerTable должны соответствовать данным в налоговой форме.

таблица с примером правила качества по точности

налоговая форма для сверки точности данных

Введение в качество данных

Правило качества данных: уникальность

Правило для элемента данных:

  • В каждой записи значение Customer ID должно быть уникальным.
  • Каждая запись должна иметь уникальное сочетание имени клиента, даты рождения и адреса.

таблица с примером правила качества по уникальности

Введение в качество данных

Давайте потренируемся!

Введение в качество данных

Preparing Video For Download...