為什麼你需要監控模型

Machine Learning 監控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

生產環境中的機器學習

典型開發流程

箭頭流程包含四個關鍵步驟：定義專案、準備資料、訓練模型與部署。

部署之後

這是更新後的資料科學開發流程：在部署階段之後新增了監控箭頭，並加上連回「準備資料」、「訓練模型」與「部署」的箭頭，讓你能依監控洞見反覆改進流程。

Machine Learning 監控概念

降低失敗風險

Zillow 案例

待售屋前的看板。

模型失敗的原因：

  • 軟體問題
  • 輸入資料漂移
  • 特徵與目標間關係改變
Machine Learning 監控概念

放大商業影響

 

  • 使模型對齊商業目標最佳化

 

  • 降低雲端成本

 

影像顯示由六個木塊堆成的金字塔。底層用每個木塊字母組成 KPI，其餘層代表成長、達成目標與提升效率。

影像顯示由九個木塊組成的雲朵圖樣。

Machine Learning 監控概念

提升 AI 安全性

三大安全議題：

  • 偏誤：確保不同使用者族群的輸出公平

 

  • 對抗式攻擊：偵測惡意操弄輸入資料

 

  • 可解釋性不足：理解模型如何做決策

 

影像顯示帶有天秤圖樣的木塊被往前推，象徵系統更公正、偏誤更小。

影像顯示帶有鎖頭圖樣的木塊被往前推，象徵安全性提升。

影像顯示帶有頭像與延伸線條的木塊被往前推，象徵對智慧系統理解加深。

Machine Learning 監控概念

用資料改變世界

自動化流程

影像顯示自動化生產線。

Machine Learning 監控概念

一起來練習吧！

Machine Learning 監控概念

Preparing Video For Download...