企业级可靠性

案例研究：使用 Databricks Genie 进行销售分析

Stan Konkin

ML Content Developer, DataCamp

从可用到可信

一个 Genie 空间现已覆盖整个销售楼层，上方有可靠性盾牌，VP 正在审阅，DataCamp 海军蓝与绿色风格

 

  • 空间现服务整个 Sales 团队
  • VP 要求可靠性后再全面上线
  • 不增表，只做加固
案例研究：使用 Databricks Genie 进行销售分析

可靠性是个闭环

一个四步循环：review、diagnose、curate、verify，干净的箭头闭环，DataCamp 海军蓝与绿色风格

 

  • 先Review 对话与评分
  • 再Diagnose 问题根因
  • 然后Curate 正确杠杆
  • 最后Verify 在聊天中验证
案例研究：使用 Databricks Genie 进行销售分析

先在 Monitor 中诊断

$$ 屏幕截图：Genie 的 Monitor 选项卡显示带有点赞/点踩的对话列表，已筛选为点踩项

 

$$

$$

  • Monitor 选项卡记录真实对话
  • 筛选为点踩的回答
  • 逐条阅读生成的 SQL
案例研究：使用 Databricks Genie 进行销售分析

两类失败，两种成因

两个图标：问号配不同数字表示数值漂移；另一个定义被划掉表示术语未定义

 

  • 月度趋势漂移 → 公式不严
  • "Premium" 未定义 → Genie 猜测
  • 不同故障需用不同修复
案例研究：使用 Databricks Genie 进行销售分析

修复其一，锁定趋势

一条月度折线被绿色锁头固定住，不再漂移，DataCamp 海军蓝与绿色风格

 

  • 公式松散 → 用SQL 示例锁定
  • Genie 复用完全相同的计算
  • 每次运行同一趋势
案例研究：使用 Databricks Genie 进行销售分析

修复其二，定义术语

将清晰规则加入说明清单，明确业务术语含义，DataCamp 海军蓝与绿色风格

 

  • 定义缺失 → 加文本指令
  • 将术语一次性精确定义
  • 应用于所有 premium 相关问题
案例研究：使用 Databricks Genie 进行销售分析

让可靠性长期在线

$$

$$

屏幕截图：Genie 的 Benchmark 选项卡列出已固定的问题，并配有标准 SQL 答案

 

$$

$$

  • 为问题配对已知正确的 SQL
  • 每次改动后重跑
  • 先于管理层发现回归
案例研究：使用 Databricks Genie 进行销售分析

何谓可投产的空间

一个带绿色对勾的中心看板，周围有 benchmark、清晰定义、monitor、锁定公式等图标

 

  • 公式已锁，定义清晰
  • 持续监控并做基准
  • 空间因此赢得信任
案例研究：使用 Databricks Genie 进行销售分析

让我们一起练习吧！

案例研究：使用 Databricks Genie 进行销售分析

Preparing Video For Download...