基准测试与持续改进

Databricks Genie 入门

Gang Wang

Senior Data Scientist

什么是基准测试

Gold Standard 题目与答案

• 计算准确率

基准测试频率

• 10–20 道 Gold Standard 题，覆盖从简单计数到复杂 Trusted KPI
• 开发阶段运行——每日或每次重要策展变更后
• 架构变更后 新增表或列时立即运行全套
• 生产环境——每周或每月运行一次健康检查

解读结果

• 通过率 提供总体分数
• 真正价值 在于解读失败
• "按城市汇总销售额"通过，但"按市政区汇总营收"失败？
• 说明 Genie 需要添加同义词，而非修改逻辑
• 对比 Expected SQL 与 Generated SQL 找到差距

修复项优先级

• 识别基准结果中的失败模式
• 从结果跳转到 Curation 菜单 添加同义词与示例
• 按发生频率与业务影响设定优先级
• 优先修复高频高影响的失败

持续改进循环

$$

步骤 1：构建 您的 Gold Standard 测试套件。

持续改进循环

$$

步骤 2：执行 并解读结果。哪些失败？原因是什么？

持续改进循环

$$

步骤 3：排定优先级，并用同义词、关系或 SQL 示例策展修复。

持续改进循环

$$

步骤 4：验证 改进，重新运行基准。确认准确率提升后再部署。

在组织内扩展

• 通过 Unity Catalog 统一管理数据与权限
• 用 Trusted Assets 管理公司级 KPI
• Editor 权限仅授予受训的数据管理者
• 要求提供 thumbs-up/thumbs-down 反馈
• 定期运行 benchmarks 监测准确率漂移

让我们一起练习吧！

Databricks Genie 入门