メタデータ管理

現代のデータアーキテクチャを理解する

Miller Trujillo

Senior Software Engineer

メタデータとは？

  • データに関するデータ

本を使ったメタデータの例

現代のデータアーキテクチャを理解する

メタデータの種類

メタデータの種類 データ例 図書目録の例
技術メタデータ データ型、関係、列名、データソース 本のISBN、ページ数
ビジネスメタデータ 業務定義、ルール、データ所有者 本のタイトル、著者、出版社、ジャンル
運用メタデータ タイムスタンプ、ETLジョブ状況、データ品質指標 受入日、状態
利用メタデータ 誰がいつどのように利用したか 誰がいつどれだけ貸出したか
現代のデータアーキテクチャを理解する

メタデータの保管先

GCP Data Catalog

  • マネージドなメタデータサービス
  • GCPサービスと連携
  • 外部メタデータを登録可能

AWS Glue Catalog

  • 中央メタデータリポジトリ
  • AWSサービスと連携
  • クローラで外部データをカタログ化

データカタログ

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
現代のデータアーキテクチャを理解する

Laten we oefenen!

現代のデータアーキテクチャを理解する

Preparing Video For Download...