可验证性与信任

面向数据分析师的 AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

一次险些出错的经历……

一次险些出错的经历……

AI 会表现出自信

 

• 错误的输出和正确的一样精致
• 没有任何视觉信号提示 "这里可能有误"
• 如果您不核实，出错的责任就在_您_身上

验证不是重做一遍

 

• 错误的本能：在 BI 工具中重做一遍
• 把 AI 输出当作能力出众的初级分析师——强大，但并非天然可信
• 您的任务：压力测试它，而不是重做

验证工作流

验证工作流

 

1. 选取一个具体数据点
2. 手动筛选原始数据以定位该数据点
3. 验证该数据点的计算结果

验证工作流

 

1. 复制 AI 的代码或输出
2. 粘贴到另一个助手或对话中
3. 要求它找出逻辑漏洞

验证工作流

 

1. 运行一次业务合理性检查
2. 自问：这个洞察是否符合您的经验？

验证工作流

 

1. 要求 AI 用自己的代码测试边界情况（空值、重复值、零值）

验证力度应与风险相匹配

• 探索性或临时性工作 → 验证力度可以较轻
• 生产环境仪表板、董事会汇报等 → 验证力度需要更强

人工把关正是您的职责所在

AI 的迎合倾向

 

• AI 往往倾向于附和您
• 暗示、反驳或提出假设 → AI 会顺着这个方向回答
• 提示词层面的防范：保持语言中立
• 验证层面的防范：对符合您预期的结论要更严格审查

让我们一起练习吧！

面向数据分析师的 AI