数据质量与摄取

MLOps 概念

Folkert Stijnman

ML Engineer

数据质量与摄取

什么是数据质量？

• 数据质量衡量数据对预期目的的支持程度
• 通过多维度评估
• 机器学习模型质量取决于数据

数据质量维度

• 准确性
• 完整性
• 一致性
• 时效性

数据质量维度示例

维度	待回答示例问题	维度质量示例
准确性	我们的数据是否正确描述了客户？	数据中客户年龄为18岁，实际为32岁。
完整性	是否缺少任何客户数据？	80%的客户没有姓氏。
一致性	公司内对客户的定义是否一致？	一库中标记为活跃，另一库中标记为不活跃。
时效性	何时可获得客户下单数据？	订单在每日结束时同步，无法实时获取。

低数据质量并不意味着项目结束！

数据摄取

让我们来练习！

MLOps 概念