Правила якості даних за вимірами

Вступ до якості даних

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Правила якості даних

Правило якості даних: бізнес-правило для перевірки, чи дані відповідають бізнес-вимогам

  • Можна задати на:
    • Рівні набору даних
    • Рівні елемента даних

таблиця, що ілюструє правила якості для наборів і елементів даних

Вступ до якості даних

Правило повноти даних

Правило якості для набору даних: У цільову таблицю мають бути завантажені всі очікувані записи з джерела.

таблиця, що ілюструє правило повноти

Правило якості для елемента даних: У всіх записах мають бути заповнені Customer ID, Customer Name і Customer Account Type.

таблиця, що ілюструє правило повноти

Вступ до якості даних

Правило своєчасності даних

Правило якості для набору даних: Усі записи в наборі клієнтів мають бути завантажені до 9:00.

таблиця, що ілюструє правило своєчасності

Правило якості для елемента даних: Усі записи мають мати заповнений tax ID під час першого встановлення статусу рахунку клієнта як "Open".

таблиця, що ілюструє правило своєчасності

Вступ до якості даних

Правило валідності даних

Правило якості для елемента даних:

  • Усі записи мають мати дату народження у форматі MM/DD/YYY, і ця дата має бути в минулому.
  • Усі записи мають мати статус рахунку: Open, Closed або Pending.

таблиця, що ілюструє правило валідності

Вступ до якості даних

Правило узгодженості даних

Правило якості для набору даних: Кількість записів, завантажених сьогодні, має бути в межах +/- 5% від кількості, завантаженої вчора.

таблиця, що ілюструє правило узгодженості

Правило якості для елемента даних: Усі значення Customer ID в AccountTable мають також бути присутні в CustomerTable.

таблиця, що ілюструє правило узгодженості

Вступ до якості даних

Правило точності даних

Правило якості для елемента даних: У всіх записах у CustomerTable поля Customer Name, Customer Birthdate та Customer Address мають точно відповідати Tax Form.

таблиця, що ілюструє правило точності

податкова форма для перевірки точності

Вступ до якості даних

Правило унікальності даних

Правило якості для елемента даних:

  • Усі записи мають мати унікальний Customer ID.
  • Усі записи мають мати унікальну комбінацію полів customer name, customer birth date та customer address.

таблиця, що ілюструє правило унікальності

Вступ до якості даних

Давайте потренуємось!

Вступ до якості даних

Preparing Video For Download...