데이터 감사

Responsible AI 데이터 관리

Maria Prokofieva

Lead ML engineer

학습 목표

• 데이터 감사
• 데이터 검증
• 편향 완화 전략

데이터 감사

• 프로젝트 생애주기 전반의 종합 데이터 검토

• 기술적·책임성 상태 점검

• 프로젝트 중대한 변경 후 수행

• 감사용 문서 업데이트

데이터 감사 수행

• 자주 수행
• 문제의 비의도적 유입 방지
• 복잡화·오류 증폭 방지
• 투명성과 책무성 유지
• 신뢰 구축

AI 금융 자문

• 행동 프로파일과 계획 목표
• 전략 수립
• 목표와 투자 상품 매칭
• 투자 포트폴리오 구성

데이터 소스:

• 채팅·업로드에서의 사용자 데이터
• 외부 실시간·과거 데이터(Bloomberg)

¹ Image by Streamline HQ

프로젝트 데이터 소스

• 사용자 제공 데이터
• API 외부 데이터

¹ Image by Streamline HQ

데이터 감사 설정

데이터 관리 계획 사용:

• 데이터 세부 정보
• 감사 주기
• 필요한 테스트
• 담당 팀원

¹ Image by Streamline HQ

데이터 감사 일정

• 초기 데이터 탐색
• 전처리·모델링 단계의 정기 감사
• 중대한 데이터 변경 시

¹ Image by Streamline HQ

지속적 데이터 감사

• 지속적 모니터링
• 데이터 품질과 규정 준수
• 모델 성능·공정성 지표
• 데이터 사용 및 저장
• 보안과 확장성

모델 드리프트

• 시간 경과에 따라 정확도가 떨어질 수 있음
• 사회 변화, 시장 상황, 기저 변수 변화
• 예측 로그·성능 지표로 드리프트 탐지
• 임계치 초과 시 알림
• 신규 데이터 점검 또는 재학습으로 수정

AI 금융 자문 데이터 감사

• 초기 데이터 탐색
• 변환·정제를 포함한 전처리
• 공정성 평가를 포함한 모델링
• 배포 전 감사
• 지속적 모니터링

¹ Image by Streamline HQ

연습해 봅시다!

Responsible AI 데이터 관리