数据验证最佳实践

负责任的 AI 数据管理

Maria Prokofieva

Lead ML engineer

本章内容

• 子组分析
• 缺失值
• 异常值处理
• 纠正数据不一致
• 特征缩放
• 特征编码
• 降维

子组分析

缺失数据

• 大型数据集中常见
• 数据删除
• 插补策略与基于模型的方法
• 用子组分析做验证

异常值处理

• 使用 z 分数、IQR 等统计方法，或稳健缩放
• 验证各数据段的公平性

数据不一致

• 数据质量影响模型完整性与可靠性
• 数据标准化与校验规则
• 子组归一化

特征缩放

• 对输入特征进行缩放
• 通过组间分布进行验证

特征编码

• 评估编码对结果的影响
• 检查偏差与信息损失
• 检查过拟合
• 使用正则化与降维

降维

• 减少输入特征，保留关键信息
• 可能引入偏差
• 使用关注公平性的技术，如 t-SNE

理财顾问

• "年收入""投资频率"特征
• 处理异常值并缩放
• 子组分析

Passons à la pratique !

负责任的 AI 数据管理