Профили данных

Введение в качество данных

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Что такое профилирование данных?

Профилирование данных: анализ статистики набора данных для лучшего понимания данных и зависимостей между полями

Примеры:

  • Сколько записей в наборе данных?
  • Каковы минимальное и максимальное значения для конкретного элемента данных?
  • В скольких записях заполнен конкретный элемент данных?
  • Если столбец A заполнен, какие другие столбцы также заполнены?

примеры профилей данных: минимум, максимум, количество пустых значений

Введение в качество данных

Важность профилирования данных

Профилирование данных:

  • Подтверждает то, что уже известно
  • Выявляет то, что неизвестно
  • Обнаруживает проблемы с качеством данных
  • Помогает создавать более точные правила качества данных

таблица данных с лучом фонарика на ней

Введение в качество данных

Как выглядит профиль данных?

![таблица данных]

Введение в качество данных

Профиль данных: идентификатор клиента

примеры профилей данных

Введение в качество данных

Профиль данных: имя клиента

примеры профилей данных

Введение в качество данных

Профиль данных: дата рождения клиента

примеры профилей данных

Введение в качество данных

Профиль данных: тип счёта клиента

примеры профилей данных

Введение в качество данных

Применение профиля данных для контроля качества

примеры профилей данных

  • Все значения CustomerID должны состоять из 11 цифровых символов.
  • Все значения CustomerFirstName должны быть строкой от 1 до 20 символов.
  • Все значения CustomerLastName должны быть строкой от 1 до 30 символов.

примеры профилей данных

  • Все значения CustomerBirthDate должны быть в формате MM/DD/YYYY и находиться в диапазоне от 01/01/1900 до 99/99/9999.
  • Все значения CustomerAccountType должны быть: Loan, Deposit, Loan and Deposit или Credit Card.
Введение в качество данных

Давайте потренируемся!

Введение в качество данных

Preparing Video For Download...