Обнаружение аномалий с оконными функциями

Анализ временных рядов в Tableau

Chris Hui

VP, Tracked

Стандартное и скользящее стандартное отклонение

  • Стандартное отклонение измеряет степень разброса значений
    • Высокое стандартное отклонение = высокая дисперсия
    • Низкое стандартное отклонение = низкая дисперсия

Ящичковая диаграмма, показывающая разницу между высоким и низким стандартным отклонением

  • Скользящее стандартное отклонение, вычисленное на оконном подмножестве, помогает выявить рост дисперсии во времени

  • Увеличение дисперсии может сигнализировать об аномалии

Изображение, показывающее, как скользящее стандартное отклонение отражает рост дисперсии во времени

Анализ временных рядов в Tableau

Стандартное отклонение и обнаружение аномалий

  • Обнаружение аномалий в временных рядах обычно основано на правиле 68–95–99

  • ~ 68% всех значений = 1 стандартное отклонение от среднего

  • 95% всех значений = 2 стандартных отклонения от среднего
  • ~ 99,7% всех значений = 3 стандартных отклонения от среднего
  • Значение, отстоящее более чем на 3 стандартных отклонения, считается аномальным

Нормальное распределение с визуализацией диапазонов стандартных отклонений на основе правила 68–95–99

Анализ временных рядов в Tableau

Верхний и нижний контрольные пределы

  • Применяется преимущественно для анализа одномерных временных рядов, в отличие от многомерных

  • Контрольные карты — наглядный способ определить верхние и нижние границы допустимых значений

  • Значения, выходящие за пределы среднего ±3 стандартных отклонения, считаются аномальными

Анализ временных рядов в Tableau

Что такое Z-оценки?

  • Z-оценка показывает, на сколько стандартных отклонений точка данных отстоит от среднего

  • Положительная Z-оценка означает, что значение выше среднего

  • Отрицательная Z-оценка означает, что значение ниже среднего

  • В отличие от стандартного отклонения, которое измеряет расстояние между точками данных

Изображение, сравнивающее Z-оценки и стандартное отклонение

Анализ временных рядов в Tableau

Z-оценки и обнаружение аномалий

  • Z-оценки ±3 считаются аномальными, однако это зависит от контекста

Визуализация порога Z-оценки равного 1 с выделением ряда аномалий

  • Более высокий порог Z-оценки даёт меньше аномалий, но это зависит от требуемой чувствительности обнаружения

Визуализация порога Z-оценки равного 2 с выделением очень немногих аномалий

Анализ временных рядов в Tableau

Давайте потренируемся!

Анализ временных рядов в Tableau

Preparing Video For Download...