Керування метаданими

Розуміння сучасної архітектури даних

Miller Trujillo

Senior Software Engineer

Що таке метадані?

  • Дані про дані

Приклад метаданих на основі книжки

Розуміння сучасної архітектури даних

Типи метаданих

Тип метаданих Приклад даних Приклад для каталогу книжок
Технічні метадані Типи даних, зв'язки, назви стовпців, джерела даних ISBN книжки, кількість сторінок
Бізнес-метадані Бізнес-визначення, правила, власник даних Назва книжки, автор, видавець, жанр
Операційні метадані Позначки часу, статус ETL-завдання, метрики якості Дата надходження книжки, стан книжки
Метадані використання Хто і коли звертався до даних, як їх використовували Хто й коли взяв книжку, на який термін
Розуміння сучасної архітектури даних

Де зберігати метадані?

GCP Data Catalog

  • Керована служба метаданих
  • Інтегрується з сервісами GCP
  • Може реєструвати зовнішні метадані

AWS Glue Catalog

  • Центральне сховище метаданих
  • Інтегрується з сервісами AWS
  • Сканери можуть каталогізувати зовнішні дані

Каталоги даних

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Розуміння сучасної архітектури даних

Давайте потренуємось!

Розуміння сучасної архітектури даних

Preparing Video For Download...