Tính và ước tính giá trị kinh doanh

Giám sát Machine Learning bằng Python

Maciej Balawejder

Data Scientist

Giá trị kinh doanh của mô hình

Mục tiêu của mô hình máy học là mang lại giá trị kinh doanh.
Giá trị kinh doanh của mô hình có thể giảm do:
- Thay đổi thói quen khách hàng
- Mô hình có thể không còn hữu ích

Ma trận nhầm lẫn

Hình minh họa ma trận nhầm lẫn với các giá trị TP, FN, FP và TN.

Dương tính thật (TP) - mô hình dự đoán đúng đặt phòng sẽ không bị hủy
Dương tính giả (FP) - mô hình dự đoán sai đặt phòng sẽ không bị hủy
Âm tính giả (FN) - mô hình dự đoán sai đặt phòng sẽ bị hủy
Âm tính thật (TN) - mô hình dự đoán đúng đặt phòng sẽ bị hủy

Công thức giá trị kinh doanh

Hình minh họa phép nhân và cộng giữa ma trận nhầm lẫn và ma trận giá trị kinh doanh.

Dương tính thật (TP) - không tạo giá trị thêm hay bị trừ.
Dương tính giả (FP) - dẫn đến chuyển phòng và giảm giá, tốn $200.
Âm tính giả (FN) - tốn $100, một đêm cho đến khi tìm được khách thay thế.
Âm tính thật (TN) - trị giá $1000 vì có thể cho người khác thuê phòng.

Khi có nhãn

Hình minh họa quy trình tính giá trị kinh doanh của mô hình khi có nhãn.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')

Khi không có nhãn

Hình minh họa quy trình ước tính giá trị kinh doanh của mô hình khi không có nhãn.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')

Ayo berlatih!

Giám sát Machine Learning bằng Python