데이터 검증

Responsible AI 데이터 관리

Maria Prokofieva

Lead ML engineer

학습 내용

• 데이터 검증
• 책임 있는 데이터 차원
• AI 재무 상담사

데이터 검증

• 더 세분화된 접근
• 데이터의 기술적 무결성 점검
• 공정성 점검

기술적 무결성

• 데이터 완전성
• 중복·오류·구식 데이터 없음
• 법규 준수
• 정확성·일관성·완전성·시의성 점검

재무 상담: 기술적 무결성

• 데이터 불일치·이상치
• 잘못 지정된 필드
• 조기 발견·교정

재무 상담: 기술적 무결성

• 수집 기간·방법의 이상치
• 지역 간 경제 격차
• 모든 사용자 그룹에 최적화되지 않음

공정성 평가

• 기회 균등
• 차별적 영향
• 인구통계 균형
• 모든 단계에 적용

 

재무 상담:

• 모두에게 관련 있고 유익한 조언 제공
• 모든 집단에 일관된 추천
• 어느 집단도 과도한 영향 없음

데이터 검증 접근법

• 핵심 변수 식별
• 데이터 분포 분석
• 정제 후 통계 검정 적용
• 데이터 균형화
• 공정성 지표 확인
• 다양한 데이터로 모델 테스트

재무 상담

• 이상치 제거, 결측치 대치
• 전후 기술통계로 검증
• 저소득층 오버샘플링
• 성능·공정성 지표 확인
• 층화 교차검증
• "미검증" 데이터로 테스트

Ayo berlatih!

Responsible AI 데이터 관리