Обнаружение аномалий

Введение в качество данных

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Что такое обнаружение аномалий

Обнаружение аномалий: алгоритм машинного обучения изучает набор данных на основе исторических данных и выявляет потенциальные проблемы с их качеством

лупа с часами, символизирующая мониторинг во времени, и стрелка, указывающая на таблицу с возможной обнаруженной аномалией

Преимущества обнаружения аномалий

Преимущества:

Мониторинг данных в масштабе, а не только критически важных элементов
Не требует глубоких бизнес-знаний при настройке — алгоритм сам учится распознавать ошибки
Позволяет выявлять дрейф данных и неочевидные закономерности

схема с несколькими источниками данных, символизирующая контроль качества данных в масштабе

Применение обнаружения аномалий

Когда доступен большой объём данных
Когда большой объём данных требует мониторинга качества
- минимум ручной работы
- настройка мониторинга в масштабе
- автоматическое выявление аномалий в данных

три строки текста о применении детективного, превентивного контроля и обнаружения аномалий

Пример обнаружения аномалий

две таблицы с данными, в которых в последней строке обнаружена потенциальная аномалия

Давайте потренируемся!

Введение в качество данных