데이터 수집의 편향 완화

데이터 편향 정복하기

Konstantinos Kattidis

Data Analytics Lead

데이터 수집의 편향 식별

• 선택 편향, 역사적 편향, 측정 편향
• 이러한 편향을 이해하면 인식이 생겨, 전문가가 선제적으로 식별하고 조치할 수 있음

• 민감도 분석은 가정, 하위 집단, 가중치 전략에 따라 결과가 어떻게 달라지는지 탐색함
• 외부 검증은 독립 소스와 대조해 일관성과 정확성을 확인함

무작위와 층화 표본추출

• 적절한 표본추출 기법 선택이 중요함
• 무작위 표본추출은 모집단에서 개인/데이터를 무작위로 선택
• 층화 표본추출은 모집단을 하위집단으로 나누고 각 집단에서 표본을 추출

하위집단 대표성 균형화

• 오버샘플링: 특정 집단/클래스의 비중을 늘려 분포를 균형화
• 언더샘플링: 과대대표된 집단의 비중을 줄여 균형화
• 가중치 부여: 중요도에 따라 가중치를 달리해 표본 분포의 불균형 보정

데이터 증강

• 역사적 편향을 다루기 위해 추가 데이터로 데이터셋을 보강
• 목표는 저대표 기간·사건을 보완하는 것
• 포함:
  • 데이터 공백 채우기
  • 관점 다양화
  • 최신화 및 오류 수정

데이터 측정 관행

• 측정 도구와 프로토콜의 표준화
• 데이터 수집자의 교육 및 보정
• 파일럿 테스트로 절차의 정확성과 일관성 평가
• 정기적 품질 보증 점검과 프로세스 자동화로 데이터 품질 향상

지속적 모니터링과 조정

• 신규 편향을 다루기 위해 지속적 모니터링과 조정은 필수
• 데이터 품질 지표의 정기 검토
• 편향 평가
• 이를 통해 편향을 즉시 식별

연습해 봅시다!

데이터 편향 정복하기