审查阶段:数据质量

面向数据分析师的 AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

常见问题

data_quality_issues1.jpg

面向数据分析师的 AI

AI 破解的复杂难题

data_quality_issues2.jpg

面向数据分析师的 AI

模糊重复项

 

  • 传统方法:手工编写规则,需永久维护
  • AI:自动编写匹配逻辑,带来语义理解

 

  • 输出 → 可读且可调整的查询或分组

fuzzy_duplicates.png

面向数据分析师的 AI

时间顺序违规

time_order.jpg

  • 传统方法:编写比较时间戳的 SQL 语句
  • AI:描述不应发生的情况 → AI 编写查询
面向数据分析师的 AI

逻辑不一致

logical_inconsistencies.jpg

 

  • 传统方法:依赖参照表,需要专人维护
  • AI:依靠世界知识,无需参照数据
面向数据分析师的 AI

审查 AI 的输出

 

  • AI 并非魔法 — 它只是生成查询、代码或规则
  • 这些结果也可能出错:错误的正则表达式、_臆造_的业务规则

ai_interrogation.jpg

面向数据分析师的 AI

修复问题

clean_data1.jpg

clean_data2.jpg

面向数据分析师的 AI

让我们一起练习吧!

面向数据分析师的 AI

Preparing Video For Download...