資料品質與匯入

MLOps 概念

Folkert Stijnman

ML Engineer

資料品質與匯入

什麼是資料品質？

• 資料品質衡量資料是否達成其預期用途
• 從多個面向評估
• ML 模型的品質取決於資料

資料品質面向

• 正確性
• 完整性
• 一致性
• 即時性

資料品質面向範例

面向	要回答的範例問題	該面向的品質範例
正確性	我們的資料是否正確描述顧客？	資料中的顧客年齡為 18，實際是 32。
完整性	是否缺少任何顧客資料？	80% 的顧客沒有姓氏。
一致性	顧客的定義在公司內是否一致？	在一個資料庫中顧客為啟用，另一個則為未啟用。
即時性	何時可取得顧客訂單資料？	顧客訂單在每日結束時才同步，無法即時取得。

資料品質低並不代表專案結束！

資料匯入

一起來練習吧！

MLOps 概念