책임 있는 AI 지표

Responsible AI 데이터 관리

Maria Prokofieva

Lead ML Engineer

AI 프로젝트 수명주기

수명주기

Responsible AI 데이터 관리

책임 있는 AI 프로젝트

  • 법규 준수
  • 공정하고 다양함
  • 투명성, 책임성, 보안 확보

 

모델 공정성:

  • 모두에게 공정·무편향·형평한 결과

 

수명주기

Responsible AI 데이터 관리

보호 특성

  • 불공정 대우와 차별을 겪기 쉬운 집단
  • 보호 특성으로 정의:
    • 인종
    • 민족성
    • 성별
    • 사회경제적 배경

사람들 모임

Responsible AI 데이터 관리

데이터 수집

  • 동일한 결과
  • 인구통계 격차
  • 법과 규정

문서를 살펴보는 사람들

Responsible AI 데이터 관리

안면 인식의 AI

  • 높은 정확도

그러나

  • 특정 인종/성별을 포착하지 못함

이유…

부족:

  • 데이터 가용성
  • 다양성
  • 대표성

 

얼굴들

Responsible AI 데이터 관리

동일한 결과와 인구통계 격차

동일한 결과: 집단 간 이익이 동일

조건부 인구통계 격차: 집단 간 차이

  • 기술통계와 분포로 데이터 다양성 평가
  • 교정: 가중치 부여, 균형화
  • 모델링 후 재검토
  • 테스트 기록 유지

형평

Responsible AI 데이터 관리

모델링

  • 동등한 성능

예: 의학적 진단

  • 일부는 보호 대상 집단에 더 흔함

 

  • 거짓 음성, 거짓 양성, 정확도 평가
  • 설명가능성:
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

과녁에 빗나간 탄착

Responsible AI 데이터 관리

배포와 모니터링

  • 모델 드리프트:
    • 시간이 지나며 모델 성능 변화

 

  • 분포 모니터링
  • 기술 성능 지표
  • 모델 조정
  • 기록 유지!
Responsible AI 데이터 관리

지표 적용

  • 보호 특성 이해
  • 더 많은 지표가 존재함
  • 항상 법률·도메인 전문가와 상의
  • 프라이버시와 보안 점검 수행

책임 있는 데이터 차원

Responsible AI 데이터 관리

연습해 봅시다!

Responsible AI 데이터 관리

Preparing Video For Download...