Терміни та поняття якості даних

Вступ до якості даних

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Визначення якості даних

  • Якість даних: міра придатності даних до певної мети
  • Гарна якість даних = довіра до даних
    • Кращі бізнес-рішення
    • Ефективніші бізнес-процеси
  • Часто гарну якість даних просто припускають
  • Якість даних слід вимірювати й відстежувати, щоб забезпечити їхню придатність до використання.

таблиця даних

Вступ до якості даних

Визначення вимірів якості даних

Вимір якості даних: міра конкретної ознаки якості даних

  • Використовуйте виміри якості, щоб кількісно оцінити придатність даних до мети.
    • Повнота
    • Валідність
    • Унікальність
    • Узгодженість
    • Своєчасність
    • Точність

куб

Вступ до якості даних

Повнота як вимір якості даних

квадратна сітка

Повнота:

  • Рівень набору даних: міра того, наскільки всі очікувані записи в наборі присутні.
  • Рівень елемента даних: міра того, наскільки в усіх записах заповнені дані там, де це очікується.
  • Бізнес-проблеми через неповні дані:
    • Показники можуть бути викривлені
    • Це може вплинути на клієнтів
Вступ до якості даних

Приклад повноти

таблиця даних

Усі записи мають мати значення в полі CustomerName.

Вступ до якості даних

Валідність як вимір якості даних

Валідність: вимірює, наскільки значення в елементі даних є дійсними

  • Потребує бізнес-контексту
  • Визначте перелік або критерії допустимих значень
  • Числова оцінка валідності = кількість дійсних/загальна кількість

квадратна сітка

Вступ до якості даних

Приклад валідності

таблиця даних

  • Значення CustomerBirthDate має бути датою в минулому.
  • Значення CustomerAccountType має бути Loan або Deposit.
  • Значення LatestAccountOpenDate має бути датою в минулому.
Вступ до якості даних

Унікальність як вимір якості даних

смугастий квадрат

Унікальність: вимірює, наскільки записи в наборі даних не дублюються

  • Потрібен бізнес-контекст для визначення критеріїв унікальності записів
  • Можливо, доведеться шукати дублікати в одному або кількох стовпцях, щоб виявити помилки
Вступ до якості даних

Приклад унікальності

таблиця даних

Усі записи мають мати унікальні CustomerID і CustomerName.

Вступ до якості даних

Давайте потренуємось!

Вступ до якості даних

Preparing Video For Download...