用 DevOps 確保資料品質標準

DevOps 概念

Cem Sakarya

DevOps Risk Advisor

DevOps 確保好程式碼

  優質程式帶來優質資料,進而造就優質 ML。

  • 多數軟體都會處理資料
  • 好的軟體帶來高品質資料
  • DevOps 有助維持軟體的高品質
DevOps 概念

資料品質

 

  • 資訊的可信度有多高?
  • 是否最新且精確?
  • 達成可能困難且成本高
  • 並非所有資料都需同等品質
  • 資料品質包含多個要素
DevOps 概念

資料品質要素

  資料品質要素:Accuracy、Completeness、Consistency、Relevance、Timeliness

 

  • 這些要素拆解並定義資料品質
  • 應被追蹤並標準化
DevOps 概念

   

資料品質要素:Accuracy、Completeness、Consistency、Relevance、Timeliness;強調 Accuracy

   

  • 資料在各細節上都正確嗎?
  • 應密切監控
DevOps 概念

   

資料品質要素:Accuracy、Completeness、Consistency、Relevance、Timeliness;強調 Completeness

   

  • 資料的完整度如何?
  • 資料寫入資料庫時是否遺失?
  • 資料移轉到不同資料庫時是否遺失?
DevOps 概念

   

資料品質要素:Accuracy、Completeness、Consistency、Relevance、Timeliness;強調 Consistency

   

  • Consistency 關乎資訊的可靠性
  • 也稱為資料完整性(Data Integrity)
  • 應密切監控並測試
DevOps 概念

   

資料品質要素:Accuracy、Completeness、Consistency、Relevance、Timeliness;強調 Relevance

   

  • 僅保留並處理相關資訊
  • 不相關的資訊會浪費時間與資源
DevOps 概念

   

資料品質要素:Accuracy、Completeness、Consistency、Relevance、Timeliness;強調 Timeliness

   

  • 資訊的即時性如何?
  • 舊資料可由較新的資訊取代
  • 微服務中的原始資料不直接用於資料分析
  • 微服務透過 API 呼叫彼此以取得最新資訊
  • 微服務內的資料應以可接受頻率複寫
DevOps 概念

一起來練習吧!

DevOps 概念

Preparing Video For Download...