异常检测

数据质量入门

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

定义异常检测

异常检测: 使用机器学习基于历史数据学习数据集,并识别潜在的数据质量问题

放大镜与时钟表示持续监控,箭头指向检测到可能异常的表格

数据质量入门

异常检测的优势

优势:

  • 可大规模监控数据,而非仅关键数据要素
  • 仅需少量业务知识,算法会学习错误模式
  • 可检测数据漂移和不明显的数据洞见

多个不同数据源的示意图,表示大规模数据质量

数据质量入门

何时使用异常检测

  1. 当有大量数据时
  2. 当大量数据需要质量监控时
    • 仅需最少人工
    • 可大规模设置监控
    • 自动发现数据异常

三行文本,分别说明侦测型、预防型与异常检测的使用

数据质量入门

异常检测示例

两个数据表,最后一行检测到潜在异常

数据质量入门

让我们来练习!

数据质量入门

Preparing Video For Download...