降低数据收集中的偏差

征服数据偏差

Konstantinos Kattidis

Data Analytics Lead

识别数据收集中的偏差

• 选择偏差、历史偏差与测量偏差
• 理解这些偏差可提升意识，使数据专家主动识别并采取措施

• 敏感性分析：探索不同假设、子群或加权策略对结果的影响
• 外部验证：将数据与独立来源比较以检查一致性与准确性

随机与分层抽样

• 选择合适的抽样方法很重要
• 随机抽样：从总体中随机选取个体或数据点
• 分层抽样：将总体分为子群，再从各子群抽样

平衡子群代表性

• 过采样：有意提高某些群体/类别的占比以平衡分布
• 欠采样：减少过度代表群体的占比以获得更平衡的数据集
• 加权：按重要性为观测赋予不同权重，弥补样本分布不均

数据增强

• 为应对历史偏差，此技术会用更多数据点充实数据集
• 旨在覆盖代表性不足的时期或事件
• 包括：
  • 填补数据空缺
  • 多样化视角
  • 更新与纠错

数据测量实践

• 测量工具与流程标准化
• 数据采集人员培训与校准
• 通过试点测试评估采集流程的准确性与一致性
• 定期质检与流程自动化可进一步提升数据质量

持续监控与调整

• 持续监控与调整对应对新出现的偏差至关重要
• 定期审查数据质量指标
• 进行偏差评估
• 以上措施可及时识别偏差

让我们来练习！

征服数据偏差