Пороговые значения качества данных

Введение в качество данных

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Пороги оповещений о качестве данных

Порог оповещения о качестве данных: значение, устанавливаемое производителем или потребителем данных, при превышении которого срабатывает оповещение

выражается как количество или процент записей

таблица с пороговыми значениями оповещений, действиями и интерпретациями примеров порогов

Важность порогов и оповещений

таблица с примерами результатов качества данных, возможными пороговыми значениями и действиями

Определение порогов

Пороги оповещений определяются критичностью, приоритетом и влиянием проблемы качества данных
Более критичные поля требуют более строгого, высокого порога
Менее критичные поля допускают менее жёсткие пороги

график с положительной зависимостью между критичностью, приоритетом, влиянием и порогом оповещения

Уровни порогов оповещений

Уровень 1 – Предупреждение – срабатывает при превышении порога; быстрого устранения не требует
Уровень 2 – Критическое оповещение – срабатывает при превышении порога; требует оперативного устранения
Уровень 3 – Блокировка критической проблемы – срабатывает при превышении порога и останавливает загрузку данных в последующие процессы конвейера

изображение трёх уровней порогов оповещений: жёлтый — предупреждение для наименее критичных, оранжевый — оповещение, красный — блокировка для наиболее критичных

Пример оповещения

таблица с правилами качества данных, пороговыми значениями оповещений, уровнями оповещений и интерпретациями

Давайте потренируемся!

Введение в качество данных