데이터 품질과 적재

MLOps 개념

Folkert Stijnman

ML Engineer

데이터 품질과 적재

머신 러닝 라이프사이클 데이터 수집

MLOps 개념

데이터 품질이란?

  • 데이터 품질은 데이터가 의도한 목적에 얼마나 부합하는지의 척도입니다
  • 여러 차원으로 평가합니다
  • ML 모델의 품질은 데이터에 좌우됩니다
MLOps 개념

데이터 품질 차원

  • 정확성
  • 완전성
  • 일관성
  • 적시성
MLOps 개념

데이터 품질 차원 예시

차원 답해야 할 예시 질문 차원 품질의 예시
정확성 우리의 데이터가 고객을 정확히 설명합니까? 데이터에 고객 나이가 18로 기록되었으나 실제로는 32입니다.
완전성 누락된 고객 데이터가 있습니까? 고객의 80%에 대해 성(last name)이 없습니다.
일관성 고객 정의가 전사적으로 동기화되어 있습니까? 한 데이터베이스에는 활성, 다른 곳에는 비활성으로 표시되어 있습니다.
적시성 고객 주문 데이터는 언제 이용 가능합니까? 주문이 하루 끝에 동기화되어 실시간으로는 제공되지 않습니다.

낮은 데이터 품질이 곧 프로젝트 종료를 의미하지는 않습니다!

MLOps 개념

데이터 적재

데이터 파이프라인

MLOps 개념

연습해 봅시다!

MLOps 개념

Preparing Video For Download...