資料整合

負責任的 AI 資料管理

Maria Prokofieva

Lead ML engineer

本章重點

• 為何需要整合
• 好處與複雜性
• 資料整合步驟

為何使用多個來源？

• 全面細緻視角
• 安全網
• 資料多樣性與公平性
• 可解釋性、透明度與問責

留意常見問題

• 可能犧牲資料品質
• 引入不一致
• 放大偏差
• 降低代表性
• 模型更複雜
• 透明度與可解釋性降低

¹ 圖片來源：Streamline HQ

步驟 1：選擇資料來源

• 依評估步驟進行
• 評估資料來源
• 建立更平衡且完整的資料集

步驟 2：對齊資料型別

• 辨識共同變數
• 統一名稱與格式
• 正規化數值資料
• 合併類別資料
• 對齊資料粒度

步驟 3：提升偏差與代表性

• 加權
  • 領域知識
  • 為過度或不足代表的群體設定權重
• 平衡
  • 等量代表
  • 過度或不足抽樣
• 演算法檢查
• 缺口分析

步驟 4：撰寫文件

• 詳細記錄：
  • 資料整合步驟
  • 所做決策
• 詳細後設資料：
  • 資料來源
  • 蒐集方法
  • 套用的轉換

都會交通流專案

• 選擇資料來源
• 辨識共同特徵
• 建立統一資料模型

¹ 圖片來源：Streamline HQ

都會交通流專案

• 以統計技術處理偏差與代表性
• 套用加權調整
• 缺口分析與再加權
• 撰寫文件

一起來練習吧！

負責任的 AI 資料管理