中介資料管理

理解現代資料架構

Miller Trujillo

Senior Software Engineer

什麼是中介資料？

• 關於資料的資料

中介資料的種類

中介資料類型	資料範例	書目範例
技術中介資料	資料型別、關係、欄位名稱、資料來源	書籍的 ISBN、頁數
商務中介資料	商務定義、規則、資料擁有者	書名、作者、出版社、類型
營運中介資料	時間戳記、ETL 作業狀態、資料品質指標	取得日期、書況
使用中介資料	誰在何時以何種方式使用資料	誰借閱、何時借閱、借多久

要把中介資料存在哪裡？

GCP Data Catalog

• 受管的中介資料服務
• 可與 GCP 服務整合
• 可登錄外部中介資料

AWS Glue Catalog

• 中介資料中央儲存庫
• 可與 AWS 服務整合
• 爬蟲可彙編外部資料

資料目錄

• Azure Data Catalog
• Apache Atlas
• CKAN

 

• Datahub
• Collibra
• ...

一起來練習吧！

理解現代資料架構