Khi có nhãn

Giám sát Machine Learning bằng Python

Maciej Balawejder

Data Scientist

Hiệu năng ước tính vs đo được

Hiệu năng ước tính:

  • đo mức độ mô hình dự kiến hoạt động

  • xác định bằng các bộ ước tính như CBPE, DLE

  • ước tính khi không có ground truth

Hiệu năng đo được:

  • là hiệu năng được đo lường
  • xác định bằng calculator hiệu năng
  • tính toán khi có ground truth
Giám sát Machine Learning bằng Python

Ground truth trễ

Trục thời gian với ba điểm mỗi tuần. Mỗi thứ Hai, hiệu năng đo được của mô hình được đánh giá; giữa các thứ Hai, dùng bộ ước tính CBPE để ước tính hiệu năng.

Giám sát Machine Learning bằng Python

Bộ tính hiệu năng

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Giám sát Machine Learning bằng Python

Vẽ kết quả

# Show realized performance plot
results.plot().show()

Hình minh họa đồ thị ROC AUC đo được, cho thấy hiệu năng giảm từ 04/2019 đến 08/2019.

Giám sát Machine Learning bằng Python

Hiệu năng đo được và ước tính

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Giám sát Machine Learning bằng Python

Hiệu năng đo được và ước tính

Biểu đồ so sánh hiệu năng đo được và ước tính theo ROC AUC.

Giám sát Machine Learning bằng Python

Ayo berlatih!

Giám sát Machine Learning bằng Python

Preparing Video For Download...