데이터 검증 모범 사례

Responsible AI 데이터 관리

Maria Prokofieva

Lead ML engineer

학습 내용

• 하위 그룹 분석
• 결측값
• 이상치 제거
• 데이터 불일치 수정
• 피처 스케일링
• 피처 인코딩
• 차원 축소

하위 그룹 분석

결측 데이터

• 대규모 데이터에서 흔함
• 데이터 삭제
• 대치 전략과 모델 기반 접근
• 검증을 위한 하위 그룹 분석

이상치 제거

• z-점수, IQR 같은 통계 방법 또는 강건 스케일링
• 데이터 구간 전반의 공정 처리 검증

데이터 불일치

• 데이터 품질은 모델의 무결성과 신뢰성에 영향
• 데이터 표준화와 검증 규칙
• 하위 그룹 정규화

피처 스케일링

• 입력 피처 변환을 위한 스케일링
• 그룹 간 분포를 확인하여 검증

피처 인코딩

• 인코딩이 결과에 미치는 영향 평가
• 편향 및 정보 손실 점검
• 과적합 여부 점검
• 정규화와 차원 축소 활용

차원 축소

• 입력 피처를 줄이면서 핵심 정보 보존
• 편향이 생길 수 있음
• t-SNE 같은 공정성 고려 기법 사용

재무 상담사 사례

• "연간 소득"과 "투자 빈도" 피처
• 이상치 보정 및 스케일링
• 하위 그룹 분석

연습해 봅시다!

Responsible AI 데이터 관리