Termeni și concepte privind calitatea datelor

Introducere în calitatea datelor

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Definirea calității datelor

  • Calitatea datelor: măsurarea gradului în care datele sunt adecvate scopului
  • Calitate bună = încredere în date
    • Decizii de business mai bune
    • Procese de business mai eficiente
  • De obicei, calitatea bună este presupusă
  • Calitatea datelor trebuie măsurată și monitorizată pentru a garanta utilitatea lor.

tabel de date

Introducere în calitatea datelor

Definirea dimensiunilor calității datelor

Dimensiune a calității datelor: măsurarea unui atribut specific al calității datelor

  • Utilizați dimensiunile pentru a cuantifica adecvarea datelor scopului.
    • Completitudine
    • Validitate
    • Unicitate
    • Consistență
    • Actualitate
    • Acuratețe

cub

Introducere în calitatea datelor

Completitudinea ca dimensiune a calității datelor

grilă pătrată

Completitudine:

  • La nivel de set de date: măsoară gradul în care toate înregistrările așteptate sunt prezente.
  • La nivel de element: măsoară gradul în care toate înregistrările au datele completate când se impune.
  • Probleme de business cauzate de date incomplete:
    • Cifrele pot fi distorsionate
    • Clienții pot fi afectați
Introducere în calitatea datelor

Exemplu de completitudine

tabel de date

Toate înregistrările trebuie să aibă o valoare în câmpul CustomerName.

Introducere în calitatea datelor

Validitatea ca dimensiune a calității datelor

Validitate: măsoară gradul în care valorile unui element de date sunt valide

  • Necesită context de business
  • Definiți lista sau criteriile pentru valori valide
  • Măsurare numerică a validității = număr valide/total

grilă pătrată

Introducere în calitatea datelor

Exemplu de validitate

tabel de date

  • Valoarea CustomerBirthDate trebuie să fie o dată din trecut.
  • Valoarea CustomerAccountType trebuie să fie Loan sau Deposit.
  • Valoarea LatestAccountOpenDate trebuie să fie o dată din trecut.
Introducere în calitatea datelor

Unicitatea ca dimensiune a calității datelor

pătrat cu dungi

Unicitate: măsoară gradul în care înregistrările dintr-un set de date nu sunt duplicate

  • Necesită context de business pentru a defini criteriile de unicitate
  • Poate fi necesară căutarea duplicatelor în una sau mai multe coloane
Introducere în calitatea datelor

Exemplu de unicitate

tabel de date

Toate înregistrările trebuie să aibă un CustomerID și un CustomerName unice.

Introducere în calitatea datelor

Să exersăm!

Introducere în calitatea datelor

Preparing Video For Download...