Terminy i koncepcje jakości danych

Wprowadzenie do jakości danych

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Definiowanie jakości danych

  • Jakość danych: miara stopnia, w jakim dane są przydatne do celu
  • Dobra jakość danych = zaufanie do danych
    • Lepsze decyzje biznesowe
    • Lepiej wspierane procesy biznesowe
  • Dobra jakość danych jest często zakładana z góry
  • Jakość danych należy mierzyć i monitorować, aby zapewnić ich przydatność.

tabela danych

Wprowadzenie do jakości danych

Definiowanie wymiarów jakości danych

Wymiar jakości danych: miara konkretnego atrybutu jakości danych

  • Wymiary jakości danych służą do oceny przydatności danych.
    • Kompletność
    • Poprawność
    • Unikalność
    • Spójność
    • Aktualność
    • Dokładność

sześcian

Wprowadzenie do jakości danych

Kompletność jako wymiar jakości danych

siatka kwadratów

Kompletność:

  • Poziom zbioru danych: mierzy stopień obecności wszystkich oczekiwanych rekordów.
  • Poziom elementu danych: mierzy stopień, w jakim rekordy mają wypełnione pola, gdy jest to wymagane.
  • Problemy biznesowe wynikające z niekompletnych danych:
    • Zniekształcone wyniki
    • Negatywny wpływ na klientów
Wprowadzenie do jakości danych

Przykład kompletności

tabela danych

Wszystkie rekordy muszą mieć wypełnione pole CustomerName.

Wprowadzenie do jakości danych

Poprawność jako wymiar jakości danych

Poprawność: mierzy stopień, w jakim wartości elementu danych są prawidłowe

  • Wymaga kontekstu biznesowego
  • Zdefiniuj listę lub kryteria dla prawidłowych wartości
  • Numeryczny pomiar poprawności = liczba prawidłowych / łączna liczba

siatka kwadratów

Wprowadzenie do jakości danych

Przykład poprawności

tabela danych

  • Wartość CustomerBirthDate musi być datą z przeszłości.
  • Wartość CustomerAccountType musi być Loan lub Deposit.
  • Wartość LatestAccountOpenDate musi być datą z przeszłości.
Wprowadzenie do jakości danych

Unikalność jako wymiar jakości danych

prążkowany kwadrat

Unikalność: mierzy stopień, w jakim rekordy w zbiorze danych nie są zduplikowane

  • Wymaga kontekstu biznesowego do zdefiniowania kryteriów unikalności rekordów
  • Może wymagać szukania duplikatów w jednej lub wielu kolumnach
Wprowadzenie do jakości danych

Przykład unikalności

tabela danych

Wszystkie rekordy muszą mieć unikalne wartości CustomerID i CustomerName.

Wprowadzenie do jakości danych

Czas na ćwiczenia!

Wprowadzenie do jakości danych

Preparing Video For Download...