Виявлення аномалій за допомогою віконних функцій

Аналіз часових рядів у Tableau

Chris Hui

VP, Tracked

Стандартне відхилення проти рухомого стандартного відхилення

  • Стандартне відхилення вимірює розкид значень
    • Високе стандартне відхилення = велика варіативність
    • Низьке стандартне відхилення = мала варіативність

Візуалізація box plot, що показує різницю між високим і низьким стандартним відхиленням

  • Рухоме стандартне відхилення, обчислене у віконній підмножині, корисне, щоб виявляти зростання варіативності в часі

  • Якщо дисперсія зростає, це може сигналізувати аномалію для подальшого аналізу

Зображення, що показує, як рухоме стандартне відхилення відображає зростання варіативності з часом

Аналіз часових рядів у Tableau

Стандартне відхилення та виявлення аномалій

  • Виявлення аномалій у часових рядах зазвичай спирається на правило 68, 95, 99

  • ~ 68% усіх значень = 1 стандартне відхилення від середнього

  • 95% усіх значень = 2 стандартні відхилення від середнього
  • ~ 99,7% усіх значень = 3 стандартні відхилення від середнього
  • Будь-яке значення > 3 стандартних відхилень від середнього — аномальне

Нормальний розподіл, що показує діапазони стандартних відхилень до визнання значення аномальним за правилом 68, 95 і 99

Аналіз часових рядів у Tableau

Верхні та нижні контрольні межі

  • Переважно застосовується для одновимірних часових рядів, а не багатовимірних

  • Контрольні графіки — ефективний візуальний спосіб визначити верхні та нижні межі прийнятних значень

  • Значення, що перевищують середнє для сукупності на ±3 стандартні відхилення, є аномальними

Аналіз часових рядів у Tableau

Що таке Z-оцінки?

  • Z-оцінка — це кількість стандартних відхилень, на яку точка даних вище або нижче середнього

  • Додатна Z-оцінка означає, що значення вище середнього

  • Від'ємна Z-оцінка означає, що значення нижче середнього

  • Відрізняється від стандартного відхилення, яке вимірює відстань між точками даних

Зображення, що показує Z-оцінки порівняно зі стандартним відхиленням

Аналіз часових рядів у Tableau

Z-оцінки та виявлення аномалій

  • Z-оцінки ±3 зазвичай вважають аномальними, але це залежить від контексту

Візуалізація з порогом Z-оцінки 1, що підсвічує багато аномалій

  • Вищі пороги Z-оцінки дають менше аномалій, але це залежить від чутливості вашого методу

Візуалізація з порогом Z-оцінки 2, що підсвічує дуже мало аномалій

Аналіз часових рядів у Tableau

Давайте потренуємось!

Аналіз часових рядів у Tableau

Preparing Video For Download...