異常偵測

Data Quality 入門

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

定義異常偵測

異常偵測：使用機器學習演算法從歷史資料學習資料集，並找出潛在的資料品質問題

異常偵測的優點

優點：

• 可大規模監控資料，而非只看關鍵元素
• 設定所需的商務知識少，因為演算法會學習錯誤樣態
• 能偵測資料漂移與不明顯的洞見

何時使用異常偵測

1. 當可用資料量很大時
2. 當大量資料需要品質監控時
   • 幾乎不需手動作業
   • 建立大規模監控
   • 自動找出資料異常

異常偵測範例

一起來練習吧！

Data Quality 入門