跟踪性能

走近 Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

模型性能

不同模型，各有所长

  • 一个更擅长识别可能违约者
  • 另一个更擅长估计可能的违约金额

  天平图

哪个更好？取决于目标

  • 更在意标记高风险客户
  • 还是估计违约的财务影响
走近 Decision Science

模型指标

不同指标揭示性能的不同侧面

常用评估指标：

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  仪表板

走近 Decision Science

准确率

 

整体正确性概览

  • 衡量模型预测正确的比例
  • 适用于类别平衡场景，如 spam vs not spam

准确率图

精确率

 

预测为正的样本中有多少是真的

  • 当误报代价高时很重要
  • 精确率低 = 将大量正常交易标为 fraudulent

精确率图

走近 Decision Science

更多指标

召回率：捕获真正例

  • 衡量模型发现实际正例的能力
  • 当漏检代价高时很重要（如欺诈、疾病）

曲线下面积（AUC）：类别可分性

  • 评估模型区分类别的能力
  • 不依赖特定阈值

回归指标：衡量预测误差

  • 平均绝对误差（MAE）：预测误差的平均大小
  • 平均百分比误差（MPE）：预测偏差的百分比

 

更多指标

走近 Decision Science

仪表板至关重要

仪表板将复杂分析转化为清晰、可执行的洞见，助力决策。

 

仪表板动图

走近 Decision Science

基本原则

 

了解受众

  • 管理层要摘要
  • 分析师要细节

 

突出关键指标

  • 只展示最重要内容
  • 避免杂乱与噪音

 

使用清晰的可视化

  • 柱状图比对，折线图看趋势
  • 简单图形往往更好

  清晰图示

走近 Decision Science

更多原则

跟踪时间变化

  • 监控模型性能与特征漂移
  • 趋势为指标提供背景

不仅给数字，还要给背景

  • 用简短注释解释关键变化
  • 帮助理解发生了什么与原因

测试并迭代

  • 早分享，收集反馈
  • 随模型与需求演进更新仪表板

迭代

走近 Decision Science

Passons à la pratique !

走近 Decision Science

Preparing Video For Download...