用視窗函式做異常偵測

Tableau 的時間序列分析

Chris Hui

VP, Tracked

標準差 vs. 移動標準差

  • 標準差衡量一組數值的離散程度
    • 高標準差=高變異
    • 低標準差=低變異

盒鬚圖示範高與低標準差的差異

  • 以視窗子集計算的移動標準差,可用來辨識隨時間的變異膨脹

  • 變異變大時,可能表示有異常,值得進一步分析

示意移動標準差如何顯示變異隨時間增加

Tableau 的時間序列分析

標準差與異常偵測

  • 時間序列的異常偵測常用 68、95、99 規則

  • 約 68% 的數值=距平均 1 個標準差

  • 95% 的數值=距平均 2 個標準差
  • 約 99.7% 的數值=距平均 3 個標準差
  • 任何值 > 距平均 3 個標準差都視為異常

常態分配圖示,標示依 68、98、99 規則在異常前的標準差範圍

Tableau 的時間序列分析

管制上、下限

  • 主要用於單變量時間序列分析,而非多變量

  • 管制圖能有效視覺化「可接受」值的上下界

  • 超過母體平均值 ± 3 個標準差的數值屬異常

Tableau 的時間序列分析

什麼是 Z 分數?

  • Z 分數表示資料點高於或低於平均多少個標準差

  • 正的 Z 分數表示高於平均

  • 負的 Z 分數表示低於平均

  • 不同於標準差,其著重於點與平均的相對位置

Z 分數與標準差的比較示意圖

Tableau 的時間序列分析

Z 分數與異常偵測

  • Z 分數 ±3 通常視為異常,但需視情境而定

Z 分數臨界值為 1 的視覺化,標出多個異常

  • 臨界 Z 分數越高,偵測出的異常越少;但取決於你設定的敏感度

Z 分數臨界值為 2 的視覺化,僅標出少數異常

Tableau 的時間序列分析

一起來練習吧!

Tableau 的時間序列分析

Preparing Video For Download...