데이터 통합

Responsible AI 데이터 관리

Maria Prokofieva

Lead ML engineer

다룰 내용

• 통합이 필요한 이유
• 이점과 복잡성
• 데이터 통합 단계

다수 소스가 필요한 이유

• 종합적 상세 뷰
• 안전망
• 데이터 다양성·공정성
• 설명 가능성, 투명성, 책임성

주의할 문제

• 데이터 품질 저해
• 불일치 유발
• 편향 증폭
• 대표성 저하
• 모델 복잡도 증가
• 투명성·설명 가능성 저하

¹ Image by Streamline HQ

1단계. 데이터 소스 선택

• 평가 단계 수행
• 데이터 소스 평가
• 더 균형 잡힌 종합 데이터세트

2단계. 데이터 유형 정렬

• 공통 변수 식별
• 이름과 형식 표준화
• 수치 데이터 정규화
• 범주형 데이터 통합
• 데이터 세분화 수준 정렬

3단계. 편향·대표성 개선

• 가중치 부여
  • 도메인 지식
  • 과/소대표 집단에 가중치 할당
• 균형화
  • 균등 대표성
  • 과표본/소표본 추출
• 알고리즘 점검
• 격차 분석

4단계. 문서화

• 상세 기록:
  • 데이터 통합 단계
  • 의사결정 내역
• 상세 메타데이터:
  • 데이터 출처
  • 수집 방법론
  • 적용된 변환

도시 교통 흐름 프로젝트

• 데이터 소스 선택
• 공통 특성 식별
• 통합 데이터 모델 개발

¹ Images by Streamline HQ

도시 교통 흐름 프로젝트

• 편향·대표성용 통계 기법 적용
• 가중치 보정 적용
• 격차 분석 및 재가중치
• 문서화

연습해 봅시다!

Responsible AI 데이터 관리