Виявлення аномалій

Вступ до якості даних

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Визначення виявлення аномалій

Виявлення аномалій: коли алгоритм машинного навчання навчається на історичних даних про набір даних і виявляє потенційні проблеми якості даних

лупа з годинником, що означає моніторинг у часі, і стрілка на таблицю з можливою виявленою аномалією

Переваги:

Моніторинг даних у масштабі, а не лише критичних елементів
Потрібно мало знань про бізнес, бо алгоритм сам «вчиться», як виглядають помилки
Може виявляти дрейф даних і неочевидні інсайти

схема з кількома різними джерелами даних, що символізує контроль якості даних у масштабі

Коли доступний великий обсяг даних
Коли великий обсяг даних потребує моніторингу якості
- мінімум ручної роботи
- налаштуйте моніторинг у масштабі
- автоматизуйте пошук аномалій у даних

три рядки тексту про використання детективних, превентивних і методів виявлення аномалій

дві таблиці з даними, де в останньому рядку виявлено можливу аномалію

Вступ до якості даних