数据验证

负责任的 AI 数据管理

Maria Prokofieva

Lead ML engineer

学习内容

• 数据验证
• 责任维度
• AI 理财顾问

数据验证

• 更细化的方法
• 检查数据的技术完整性
• 检查公平性

技术完整性

• 数据完整
• 无重复、错误或过时数据
• 符合法律合规
• 检查准确性、一致性、完整性、及时性

理财顾问：技术完整性

• 发现数据中的差异与异常
• 字段分配不正确
• 及早发现并纠正

理财顾问：技术完整性

• 数据收集周期与方法的异常
• 地区经济差异
• 未对所有用户群体优化

公平性评估

• 机会均等
• 差异影响
• 人口统计平等
• 适用于项目各阶段

 

理财顾问：

• 所有人获得相关且有益的建议
• 各人群建议一致
• 不使任何群体受不成比例影响

数据验证方法

• 确定关键变量
• 分析数据分布
• 清洗数据并进行统计检验
• 平衡数据
• 检查公平性指标
• 用多样数据集测试模型

理财顾问

• 移除异常值并填补缺失
• 前后用描述性统计验证
• 对低收入群体过采样
• 检查模型表现与公平性指标
• 分层交叉验证
• 在"未见"数据上测试

Vamos praticar!

负责任的 AI 数据管理