Reguły jakości danych według wymiarów

Wprowadzenie do jakości danych

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Reguły jakości danych

Reguła jakości danych: rodzaj reguły biznesowej weryfikującej, czy dane spełniają wymagania biznesowe

Może być zdefiniowana na poziomie:
- zbioru danych
- elementu danych

tabela ilustrująca reguły jakości danych na poziomie zbioru i elementu

Reguła jakości danych – kompletność

Reguła jakości danych na poziomie zbioru: Wszystkie oczekiwane rekordy ze źródła muszą zostać załadowane do tabeli docelowej.

tabela ilustrująca regułę jakości danych dotyczącą kompletności

Reguła jakości danych na poziomie elementu: Wszystkie rekordy muszą mieć wypełnione pola Customer ID, Customer Name oraz Customer Account Type.

tabela ilustrująca regułę jakości danych dotyczącą kompletności

Reguła jakości danych – aktualność

Reguła jakości danych na poziomie zbioru: Wszystkie rekordy w zbiorze danych klientów muszą zostać załadowane do godz. 9:00.

tabela ilustrująca regułę jakości danych dotyczącą aktualności

Reguła jakości danych na poziomie elementu: Wszystkie rekordy muszą mieć wypełniony numer NIP najpóźniej w momencie, gdy status konta klienta przyjmuje wartość „Open".

tabela ilustrująca regułę jakości danych dotyczącą aktualności

Reguła jakości danych – poprawność

Reguła jakości danych na poziomie elementu:

Wszystkie rekordy muszą zawierać datę urodzenia w formacie MM/DD/RRR, a wartość musi być z przeszłości.
Wszystkie rekordy muszą mieć status konta: Open, Closed lub Pending.

tabela ilustrująca regułę jakości danych dotyczącą poprawności

Reguła jakości danych – spójność

Reguła jakości danych na poziomie zbioru: Liczba rekordów załadowanych dzisiaj musi mieścić się w przedziale +/- 5% liczby rekordów załadowanych wczoraj.

tabela ilustrująca regułę jakości danych dotyczącą spójności

Reguła jakości danych na poziomie elementu: Wszystkie wartości Customer ID w AccountTable muszą być obecne również w CustomerTable.

tabela ilustrująca regułę jakości danych dotyczącą spójności

Reguła jakości danych – dokładność

Reguła jakości danych na poziomie elementu: Wszystkie rekordy w CustomerTable muszą zawierać poprawne pola Customer Name, Customer Birthdate i Customer Address w porównaniu z formularzem podatkowym.

tabela ilustrująca regułę jakości danych dotyczącą dokładności

formularz podatkowy używany do porównania dokładności

Reguła jakości danych – unikalność

Reguła jakości danych na poziomie elementu:

Wszystkie rekordy muszą mieć unikalny Customer ID.
Wszystkie rekordy muszą mieć unikalną kombinację imienia i nazwiska klienta, daty urodzenia oraz adresu.

tabela ilustrująca regułę jakości danych dotyczącą unikalności

Czas na ćwiczenia!

Wprowadzenie do jakości danych