Управление метаданными

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Что такое метаданные?

  • Данные о данных

Пример метаданных на основе книги

Современные архитектуры данных

Типы метаданных

Тип метаданных Пример данных Пример каталога книг
Технические метаданные Типы данных, связи, имена столбцов, источники данных ISBN книги, количество страниц
Бизнес-метаданные Бизнес-определения, правила, владелец данных Название, автор, издатель, жанр
Операционные метаданные Временны́е метки, статус ETL-заданий, метрики качества данных Дата поступления книги, её состояние
Метаданные использования Кто, когда и как обращался к данным Кто взял книгу, когда и на какой срок
Современные архитектуры данных

Где хранить метаданные?

GCP Data Catalog

  • Управляемый сервис метаданных
  • Интегрируется со службами GCP
  • Поддерживает регистрацию внешних метаданных

AWS Glue Catalog

  • Централизованное хранилище метаданных
  • Интегрируется со службами AWS
  • Краулеры могут каталогизировать внешние данные

Каталоги данных

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Современные архитектуры данных

Давайте потренируемся!

Современные архитектуры данных

Preparing Video For Download...