部署的 AI 系統成功了嗎?

認識人工智慧(AI)

Maarten Van den Broeck

Senior Content Developer at DataCamp

何時衡量成效?

MLOps 方法論生命週期

認識人工智慧(AI)

何時衡量成效?

跨 MLOps 生命週期衡量成效

認識人工智慧(AI)

離線效能衡量-accuracy

訓練與驗證資料

認識人工智慧(AI)

離線效能衡量-accuracy

訓練模型

認識人工智慧(AI)

離線效能衡量-accuracy

以測試樣本驗證模型

認識人工智慧(AI)

離線效能衡量-accuracy

將預測與實際標籤比較

認識人工智慧(AI)

離線效能衡量-accuracy

計算 accuracy

認識人工智慧(AI)

不只 accuracy-誤差與其他指標

迴歸模型的誤差指標

搜尋與推薦系統的指標:排序品質(項目對使用者的相關性)、搜尋結果或推薦的多樣性等。

推薦商品的排序

認識人工智慧(AI)

在正式環境中衡量成效

  • 模型劣化:量測到的指標值隨時間變差

模型劣化

  • 商業指標:關鍵績效指標(KPI)
    • 指出組織目標的表現與進度
認識人工智慧(AI)

風險:可能出什麼差錯?

可能風險包含:

  • 資料偏誤
  • 欠缺透明度
  • 倫理爭議
  • 系統可靠性可疑
  • 易受網路攻擊

概念驗證(PoC):

  • 小規模試行,用於驗證可行性與潛在價值,並「及早辨識風險」
認識人工智慧(AI)

一起來練習吧!

認識人工智慧(AI)

Preparing Video For Download...