데이터 소스 선택

Responsible AI 데이터 관리

Maria Prokofieva

Lead ML engineer

왜 선택할까요?

• 데이터 품질 확보
• 법규 준수
• 공정성

 

1단계. 프로젝트 연관성

• 프로젝트 목표와의 연관성
• 정합성 확인:
  • 주제 영역
  • 범위
  • 예상 결과

2단계. 데이터 소스 무결성

• 무결성과 신뢰성 평가
• 리뷰와 추천사
• 데이터 수집의 투명성
• 준수 및 라이선스
• 고품질: 정기 업데이트

3단계. 법적 준수

• 데이터의 적법성
• 프로젝트의 법적 준수
• 법무 검토:
  • 적용 법률과 제한사항
  • 데이터 익명화
  • 데이터 보안 요건
• 법무팀 승인

4단계. 기술적 품질

• 구조적 완전성 및 사용성
• 완전성
• 일관성
• 정확성
• 시의성

5단계. 편향과 대표성

• 인구통계 대표성 분석
• 보호 특성
• 집단 분포 분석
• 공정성 지표
• 데이터 증강

6단계. 선택

• 포함 기준:
  • 지속적으로 부합
  • 변환·증강·알고리즘으로 보정 가능
• 제외 기준:
  • 핵심 영역이 부족
• 도메인 전문가와 상의

도시 교통 흐름 프로젝트

데이터 소스:

1. 교통량 집계 데이터
2. 의회 회의록
3. GPS 추적 데이터
4. 교통 상태 소셜 미디어 언급
5. 통근자 설문 데이터

¹ 이미지: Streamline HQ

도시 교통 흐름 프로젝트

제외:

• 소셜 미디어 데이터
• 통근자 설문 데이터

변경:

• 의회 회의록
• 교통량 집계 데이터
  • 센서 추가 데이터
• GPS 데이터
  • 카메라 추가 데이터

Ayo berlatih!

Responsible AI 데이터 관리