可驗證性與信任

AI for Data Analysts

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

差點出錯…

差點出錯…

AI 投射自信

 

• 錯誤輸出看起來一樣精緻
• 沒有任何視覺提醒說「我可能錯了」
• 你不檢查，就會把錯誤送出

驗證不等於做兩次

 

• 錯誤直覺：在 BI 工具「重做一遍」
• 把 AI 輸出當作快速的新進分析師——有力，但非天生可信
• 你的工作：是壓力測試，不是重做

驗證流程

驗證流程

 

1. 挑一個特定資料點
2. 手動在原始資料中篩到該資料點
3. 驗證該點的計算

驗證流程

 

1. 複製 AI 的程式碼或輸出
2. 貼上到另一個助理或不同對話
3. 請它找出邏輯缺陷

驗證流程

 

1. 做商業合理性檢查
2. 問：這個洞見是否符合經驗？

驗證流程

 

1. 請 AI 以邊界情境（null、重複、0）測試自己的程式碼

嚴謹度需配合風險

• 探索或臨時工作 → 較輕度應用
• 正式看板、董事會簡報等 → 較高強度應用

人類介入是職責

AI 的逢迎傾向

 

• AI 傾向贊同你
• 暗示、反駁或提出假設 → AI 會順著走
• 在提示端防禦：保持中性用語
• 在驗證端防禦：對「剛好證實你所想」的發現最嚴苛

一起來練習吧！

AI for Data Analysts