데이터 품질 용어와 개념

데이터 품질 입문

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

데이터 품질 정의

  • 데이터 품질: 데이터가 목적에 적합한 정도의 측정값
  • 좋은 데이터 품질 = 데이터에 대한 신뢰
    • 더 나은 비즈니스 의사결정
    • 더 탄탄한 비즈니스 프로세스
  • 종종 좋은 품질을 당연시함
  • 사용 적합성을 보장하려면 데이터 품질을 측정·모니터링해야 함

데이터 테이블

데이터 품질 입문

데이터 품질 차원 정의

데이터 품질 차원: 데이터 품질의 특정 속성을 측정

  • 차원으로 데이터의 목적 적합성을 정량화합니다.
    • 완전성
    • 유효성
    • 고유성
    • 일관성
    • 적시성
    • 정확성

정육면체

데이터 품질 입문

데이터 품질 차원으로서의 완전성

정사각형 격자

완전성:

  • 데이터셋 수준: 예상 레코드가 모두 존재하는 정도
  • 데이터 요소 수준: 기대 시 모든 레코드에 값이 채워진 정도
  • 불완전 데이터로 인한 비즈니스 문제:
    • 수치 왜곡 가능
    • 고객 영향 가능
데이터 품질 입문

완전성 예시

데이터 테이블

모든 레코드는 CustomerName 필드에 값이 있어야 합니다.

데이터 품질 입문

데이터 품질 차원으로서의 유효성

유효성: 데이터 요소의 값이 유효한 정도를 측정합니다

  • 비즈니스 맥락이 필요함
  • 유효 값 목록 또는 기준 정의
  • 유효성 수치화 = 유효 건수/전체 건수

정사각형 격자

데이터 품질 입문

유효성 예시

데이터 테이블

  • CustomerBirthDate 값은 과거 날짜여야 합니다.
  • CustomerAccountType 값은 Loan 또는 Deposit이어야 합니다.
  • LatestAccountOpenDate 값은 과거 날짜여야 합니다.
데이터 품질 입문

데이터 품질 차원으로서의 고유성

줄무늬 사각형

고유성: 데이터셋의 레코드가 중복되지 않은 정도를 측정합니다

  • 고유 레코드 기준을 정의하려면 비즈니스 맥락이 필요함
  • 오류 식별을 위해 하나 또는 여러 열에서 중복을 확인할 수 있음
데이터 품질 입문

고유성 예시

데이터 테이블

모든 레코드는 고유한 CustomerID와 CustomerName을 가져야 합니다.

데이터 품질 입문

Ayo berlatih!

데이터 품질 입문

Preparing Video For Download...