Theo dõi hiệu suất

Giải mã Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Hiệu suất mô hình

Mỗi mô hình có thế mạnh riêng

  • Một mô hình giỏi xác định ai có khả năng vỡ nợ
  • Mô hình kia giỏi ước tính mức vỡ nợ

  cân bằng

Mô hình nào tốt hơn? Tùy mục tiêu

  • Ưu tiên gắn cờ khách hàng rủi ro
  • Hay ước tính tác động tài chính của vỡ nợ
Giải mã Decision Science

Chỉ số mô hình

Mỗi chỉ số làm rõ một khía cạnh hiệu suất khác nhau

Chỉ số đánh giá phổ biến:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard

Giải mã Decision Science

Accuracy

 

Tổng quan độ đúng

  • Tỷ lệ dự đoán đúng trên toàn bộ dự đoán
  • Hợp lý khi lớp cân bằng, như spam vs not spam

độ chính xác

Precision

 

Bao nhiêu dương tính dự đoán là đúng

  • Quan trọng khi dương tính giả tốn kém
  • Precision thấp = gắn cờ nhầm nhiều giao dịch hợp lệ là fraudulent

độ chính xác dương tính

Giải mã Decision Science

Thêm chỉ số

Recall: bắt đúng dương tính thực

  • Đo mức độ mô hình tìm ra các dương tính thực
  • Quan trọng khi bỏ sót gây chi phí cao (ví dụ: gian lận, bệnh)

Diện tích dưới đường cong (AUC): đo tách biệt lớp

  • Đánh giá khả năng mô hình phân biệt các lớp
  • Không gắn với một ngưỡng cụ thể

Chỉ số hồi quy: đo sai số dự báo

  • Mean Absolute Error (MAE): kích thước trung bình của sai số dự báo
  • Mean Percentage Error (MPE): độ lệch dự báo theo phần trăm

 

nhiều chỉ số hơn

Giải mã Decision Science

Dashboard rất quan trọng

Dashboard biến phân tích phức tạp thành insight rõ ràng, hành động được, giúp ra quyết định dễ hơn.

 

bảng điều khiển

Giải mã Decision Science

Nguyên tắc cơ bản

 

Hiểu người xem

  • Lãnh đạo cần tóm tắt
  • Nhà phân tích cần chi tiết

 

Nổi bật chỉ số chính

  • Chỉ hiển thị điều quan trọng nhất
  • Tránh rối và nhiễu

 

Dùng trực quan rõ ràng

  • Biểu đồ cột để so sánh, đường để xu hướng theo thời gian
  • Hình đơn giản thường hiệu quả nhất

  rõ ràng

Giải mã Decision Science

Nguyên tắc bổ sung

Theo dõi biến động theo thời gian

  • Giám sát hiệu suất mô hình và drift của đặc trưng
  • Xu hướng tạo ngữ cảnh cho chỉ số

Thêm ngữ cảnh, không chỉ con số

  • Ghi chú ngắn giải thích các thay đổi chính
  • Giúp người dùng hiểu điều gì và vì sao

Kiểm thử và lặp lại

  • Chia sẻ sớm và lấy phản hồi
  • Cập nhật dashboard khi mô hình và nhu cầu thay đổi

lặp lại

Giải mã Decision Science

Ayo berlatih!

Giải mã Decision Science

Preparing Video For Download...