資料來源

負責任的 AI 資料管理

Maria Prokofieva

Lead ML engineer

接下來將介紹…

  • 資料來源類型
  • 侷限與選擇
  • 整合多種資料來源

人們從書架取文件、用放大鏡檢視,並在電子資料庫中搜尋檔案

負責任的 AI 資料管理

為何資料來源很重要

  • 可靠性
  • 多樣性
  • 公平代表性

資料來源烹調

1 Image by Streamline HQ
負責任的 AI 資料管理

依來源區分的類型

  • 初級

    • 專案內自行蒐集的資料
    • 合規與同意
  • 次級

    • 取自既有資源的資料
    • 授權與授權條款

授權合約的抽象概念

負責任的 AI 資料管理

依本質區分的類型

  • 量化

    • 數值型資料
  • 質化

    • 非數值
  • 混合

    • 數值與非數值的組合

數字轉文字

1 Image by Streamline HQ
負責任的 AI 資料管理

依時間特性區分的類型

  • 靜態
    • 隨時間不變
    • 人口普查資料
    • 公司地址
  • 動態
    • 即時更新
    • 社群媒體串流
    • API
    • 金融市場即時饋送
    • 感測器資料

動態流

1 Image by Streamline HQ
負責任的 AI 資料管理

資料來源的多樣與公平

  • 資料蒐集者的直接偏誤
  • 可量測的偏誤檢查
  • 與現況不符、過時的偏誤
  • 原始情境的繼承偏誤
  • 精細的分析
  • 持續演變,可能引入即時偏誤
負責任的 AI 資料管理

都會交通流專案

資料來源:

  • 歷史交通資料
  • 市議會會議記錄
  • GPS 追蹤資料

都會交通流專案

1 Images by Streamline HQ
負責任的 AI 資料管理

歷史交通資料

  • 市府交通局
  • 過去 5 年
  • 含車流量與時段(天/週)

這是初級、靜態、量化來源

交通資料

1 Image by Streamline HQ
負責任的 AI 資料管理

議會會議記錄

  • 議會網站的公開紀錄
  • 都市規劃與交通管理摘要

這是質化的次級來源

會議記錄

1 Image by Streamline HQ
負責任的 AI 資料管理

GPS 資料

  • 初級動態來源
  • 立即掌握即時交通狀況、車速與延誤

GPS

1 Image by Streamline HQ
負責任的 AI 資料管理

一起來練習吧!

負責任的 AI 資料管理

Preparing Video For Download...