我们如何应对数据偏见？

数据伦理入门

Shalini Kurapati, PhD

Co-founder and CEO, Clearbox AI

什么是偏见？

带偏见判断的插图。

  • 数据伦理首先想到的问题
  • 偏见：对人、群体或观点的偏袒/成见，不公
  • 数据伦理中的"数据偏见"
  • 低估、夸大或误表征
  • 偏见数据用于决策会带来危害
1 Icon made by noomtah from www.flaticon.com
数据伦理入门

随时随地都会出现

  • 存在于数据与生命周期的各阶段
  • 数据收集
  • 数据清洗、准备与开发
  • 数据标注

数据生命周期各阶段的偏见如何进入并影响算法的插图

数据伦理入门

数据特有的偏见

  • 技术/统计过程偏见

    • 抽样偏差：代表性
    • 测量偏差
    • 自我报告偏差
    • 标注偏差

  • 人类与系统性偏见

    • 性别
    • 种族/少数群体
    • 文化

失真物体与其真实影像的插图。

1 Icon made by Flowicon from www.flaticon.com
数据伦理入门

代表性至关重要

乔伊演讲截图，佩戴白色面具的照片

  • 缺乏具代表性的数据
  • 人脸识别：戴白色面具效果更好
  • 从洗手液感应器到医疗结果
  • 推荐观看：Coded Bias
1 https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms
数据伦理入门

成见的镜子

插图：男性心梗胸部压榨感，女性背部疼痛等不同症状。

  • 医学研究与数据历来以白人男性为主
  • 例如：心梗症状在男女间不同
  • 若用这些数据开发诊断应用会怎样？
1 https://womeningh.org/
数据伦理入门

影响严重

某健康应用对男女心梗症状的诊断截图。

  • 心梗症状：男性标为急症，女性判为惊恐发作
数据伦理入门

太多了，还在增加！

各种认知偏见的图示。

1 CC BY, John Manoogian III (JM3)
数据伦理入门

冰山一角

冰山一角：上方为统计偏见，下方为人类与系统性偏见的示意图

  • 统计偏见只是冰山一角
  • 人类与系统性偏见：需态度与社会层面的改变
  • 进行偏见测试、预防与缓解，并开放反馈
1 Schwartz, R. , Vassilev, A. , Greene, K. , Perine, L. , Burt, A. and Hall, P. (2022), Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, National Institute of Standards and Technology
数据伦理入门

¡Vamos a practicar!

数据伦理入门

Preparing Video For Download...