Pojmy a koncepty kvality dat

Úvod do kvality dat

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Definice kvality dat

  • Kvalita dat: měření míry, do jaké jsou data vhodná pro daný účel
  • Dobrá kvalita dat = důvěra v data
    • Lepší obchodní rozhodnutí
    • Lepší podpora obchodních procesů
  • Dobrá kvalita dat je často předpokládána
  • Kvalitu dat je nutné měřit a monitorovat, aby data byla použitelná.

datová tabulka

Úvod do kvality dat

Definice dimenzí kvality dat

Dimenze kvality dat: měření konkrétního atributu kvality dat

  • Dimenze kvality dat slouží ke kvantifikaci vhodnosti dat pro daný účel.
    • Úplnost
    • Platnost
    • Jedinečnost
    • Konzistence
    • Aktuálnost
    • Přesnost

krychle

Úvod do kvality dat

Úplnost jako dimenze kvality dat

čtvercová mřížka

Úplnost:

  • Úroveň datové sady: měří míru přítomnosti všech očekávaných záznamů.
  • Úroveň datového prvku: měří míru, do jaké mají záznamy vyplněná očekávaná data.
  • Problémy způsobené neúplnými daty:
    • Zkreslené výsledky
    • Dopad na zákazníky
Úvod do kvality dat

Příklad úplnosti

datová tabulka

Všechny záznamy musí mít vyplněné pole CustomerName.

Úvod do kvality dat

Platnost jako dimenze kvality dat

Platnost: měří míru, do jaké jsou hodnoty datového prvku platné

  • Vyžaduje obchodní kontext
  • Definujte seznam nebo kritéria platných hodnot
  • Číselné měření platnosti = počet platných / celkový počet

čtvercová mřížka

Úvod do kvality dat

Příklad platnosti

datová tabulka

  • Hodnota CustomerBirthDate musí být datum v minulosti.
  • Hodnota CustomerAccountType musí být Loan nebo Deposit.
  • Hodnota LatestAccountOpenDate musí být datum v minulosti.
Úvod do kvality dat

Jedinečnost jako dimenze kvality dat

pruhovaný čtverec

Jedinečnost: měří míru, do jaké nejsou záznamy v datové sadě duplikované

  • Vyžaduje obchodní kontext pro definici kritérií jedinečnosti záznamu
  • Může být nutné hledat duplicity v jednom nebo více sloupcích
Úvod do kvality dat

Příklad jedinečnosti

datová tabulka

Všechny záznamy musí mít jedinečné hodnoty CustomerID a CustomerName.

Úvod do kvality dat

Pojďme procvičovat!

Úvod do kvality dat

Preparing Video For Download...