Ước lượng hiệu suất

Giám sát Machine Learning bằng Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Các thuật toán

  • CBPE - ước lượng hiệu suất dựa trên độ tin cậy
  • DLE - ước lượng mất mát trực tiếp
Giám sát Machine Learning bằng Python

Ước lượng mất mát trực tiếp

  • Dùng cho bài toán hồi quy
  • Ước lượng hàm mất mát của mô hình giám sát
  • Dùng LGBM làm mô hình “phụ”
  • NannyML hỗ trợ MAE, MSE, RMSE

 

Hình minh họa cách DLE hoạt động. Dữ liệu sản xuất đi vào thuật toán; dựa trên dự đoán và dữ liệu này, tạo tập phân tích. Tập phân tích được đưa vào mô hình phụ để dự đoán hiệu suất.

Giám sát Machine Learning bằng Python

DLE - triển khai mã

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Giám sát Machine Learning bằng Python

Ước lượng hiệu suất dựa trên độ tin cậy

  • Dùng cho phân loại nhị phân và đa lớp

  • Dựa vào điểm tin cậy để ước lượng ma trận nhầm lẫn

  • Ước lượng mọi chỉ số phân loại

 

Hình minh họa cách CBPE hoạt động. Truyền tập phân tích vào CBPE để dự đoán ma trận nhầm lẫn. Từ đó tính các chỉ số phân loại khác.

Giám sát Machine Learning bằng Python

CBPE - triển khai mã

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)
Giám sát Machine Learning bằng Python

Kết quả

results.plot().show()

Biểu đồ cho thấy RMSE ước lượng theo thời gian.

Giám sát Machine Learning bằng Python

Ayo berlatih!

Giám sát Machine Learning bằng Python

Preparing Video For Download...