이상 탐지

데이터 품질 입문

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

이상 탐지 정의

이상 탐지: 머신러닝 알고리즘이 과거 데이터를 학습해 데이터셋을 이해하고 잠재적 데이터 품질 이슈를 식별합니다

시간 경과 모니터링을 나타내는 시계가 있는 돋보기와, 가능한 이상이 표시된 테이블을 가리키는 화살표

데이터 품질 입문

이상 탐지의 장점

장점:

  • 중요 데이터만이 아니라 전체 데이터 모니터링 가능
  • 설정 시 비즈니스 지식이 거의 불필요: 알고리즘이 오류 패턴을 학습함
  • 데이터 드리프트와 미묘한 인사이트 감지 가능

대규모 데이터 품질을 상징하는 여러 데이터 소스 다이어그램

데이터 품질 입문

이상 탐지 활용

  1. 대량의 데이터가 있을 때
  2. 대량 데이터의 품질 모니터링이 필요할 때
    • 수작업 최소화
    • 대규모 모니터링 설정
    • 이상 자동 탐지

탐지적, 예방적, 이상 탐지의 활용을 설명하는 세 줄의 텍스트

데이터 품질 입문

이상 탐지 예시

마지막 행에서 잠재적 이상이 감지된 두 개의 데이터 테이블

데이터 품질 입문

실습해 봅시다!

데이터 품질 입문

Preparing Video For Download...