Метаданные и качество данных

Введение в качество данных

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Что такое метаданные?

Метаданные — данные о данных, или атрибуты, описывающие данные

Используются для организации и понимания наборов данных и их элементов
Применяются в процессе контроля качества данных для определения:
- определения поля
- владельца поля
- даты последнего обновления поля

примеры определения метаданных, владельца данных и даты обновления

Примеры метаданных

Метаданные можно найти в словаре данных.

Примеры:

Бизнес-название поля
Бизнес-определение
Владелец данных
Техническое физическое название поля

пример метаданных в каталоге данных

Что такое происхождение данных?

Происхождение данных (data lineage): представление того, как данные перемещаются в конвейере — от точки ввода в источнике через каждый этап обработки до конечного потребления.

пример происхождения данных

Каждый слой имеет собственные метаданные
Используется в процессе контроля качества для определения места применения правил качества данных

Пример происхождения данных

подробный пример происхождения данных

Пример метаданных и происхождения данных

пример происхождения данных

Метаданные и происхождение данных: неудачная практика

пример происхождения данных

Метаданные и происхождение данных: рекомендуемая практика

пример происхождения данных

Давайте потренируемся!

Введение в качество данных