資料驗證

負責任的 AI 資料管理

Maria Prokofieva

Lead ML engineer

本章重點

• 資料驗證
• 負責任的面向
• AI 財務顧問

資料驗證

• 更細緻的方法
• 檢查資料的技術完整性
• 檢查公平性

技術完整性

• 資料完整
• 無重複、錯誤或過時資料
• 符合法規
• 檢查正確性、一致性、完整性與即時性

財務顧問：技術完整性

• 發現資料中的不一致與異常
• 欄位指派錯誤
• 及早發現並修正

財務顧問：技術完整性

• 蒐集期間與方法的異常
• 區域經濟差異
• 未對所有使用者族群最佳化

公平性評估

• 機會均等
• 差別影響
• 人口統計同等性
• 應用於所有專案階段

 

財務顧問：

• 所有人都能獲得相關且有益的建議
• 各族群建議一致
• 不讓任何族群承受不成比例的影響

資料驗證方法

• 辨識關鍵變數
• 分析資料分布
• 清理資料並套用統計檢定
• 平衡資料
• 檢查公平性指標
• 用多元資料集測試模型

財務顧問

• 移除離群值並補齊遺漏值
• 以描述統計於前後驗證
• 對低收入族群進行過度取樣
• 檢查模型效能與公平性指標
• 分層交叉驗證
• 用「未見過」的資料測試

一起來練習吧！

負責任的 AI 資料管理