中繼資料與資料品質

Data Quality 入門

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

什麼是中繼資料?

中繼資料(Metadata): 關於資料的資料,亦即用來描述資料的屬性

  • 用於組織並理解資料集與資料元素
  • 在資料品質流程中用來判定:
    • 欄位的定義
    • 欄位的擁有者
    • 欄位的最後更新日期

中繼資料範例:定義、資料擁有者、更新日期

Data Quality 入門

中繼資料範例

中繼資料通常可在資料字典中找到。

範例:

  • 業務欄位名稱
  • 業務定義
  • 資料擁有者
  • 技術上的實體欄位名稱

資料目錄中的中繼資料範例

Data Quality 入門

什麼是資料沿革?

資料沿革(Data lineage): 以可視化方式呈現資料如何在 pipeline 中移動:從來源輸入,經過每個步驟,直到被使用。

資料沿革範例

  • 每一層都有其專屬的中繼資料
  • 在資料品質流程中,用來判定在哪裡實作資料品質規則
Data Quality 入門

資料沿革範例

資料沿革詳細範例

Data Quality 入門

中繼資料與資料沿革範例

資料沿革範例

Data Quality 入門

中繼資料與資料沿革範例:不良作法

資料沿革範例

Data Quality 入門

中繼資料與資料沿革範例:最佳實務

資料沿革範例

Data Quality 入門

一起來練習吧!

Data Quality 入門

Preparing Video For Download...