데이터 소스의 한계

Responsible AI 데이터 관리

Maria Prokofieva

Lead ML Engineer

데이터 소스와 일반적 한계

• 법적 준수
• 편향
• 방법론
• 도메인 지식의 역할

법적·접근 기반 한계

• 특정 유형 프로젝트에 데이터 사용 제한
• 추가 컴플라이언스 요구
• 과도한 비용

 

¹ Image by Streamline HQ

데이터 소스의 편향

• 체계적 오류
• 왜곡된 인식
• 불균형한 결과
• 특정 집단에 불이익

편향의 유형

• 역사적 편향:
  • 무관한 패턴과 결과
• 선택 편향:
  • 포함할 데이터 포인트 선택
• 표본추출 편향
  • 표본추출에 사용한 방법

¹ Image by Streamline HQ

편향과 출처 기반 한계

• 제한된 데이터 범위
• 문화·지리적 제약
• 범위와 포함의 제약

   

편향과 방법론 기반 한계

• 데이터 수집 방법의 선택
• 표본추출 접근법

도메인 지식

• 한계 또는 숨은 편향
• 초기에 도메인 전문가와 협업
• 모델링 전 한계 완화

도시 교통 흐름 프로젝트

데이터 소스:

• 교통량 집계 데이터
• 시의회 회의록
• GPS 추적 데이터

¹ Images by Streamline HQ

도시 교통 흐름 프로젝트

과거 교통량 데이터:

• 역사적 편향
• 과거 도시 구조

회의록 데이터:

• 선택 편향
• 일부 구성원의 과대표현

¹ Images by Streamline HQ

도시 교통 흐름 프로젝트

GPS 추적 데이터:

• 표본 및 선택 편향
• 모든 통근자를 대변하지 않을 수 있음

¹ Image by Streamline HQ

Lass uns üben!

Responsible AI 데이터 관리