NannyML là gì?

Giám sát Machine Learning bằng Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Yêu cầu tiên quyết

  • Chủ đề Khái niệm giám sát ML:
    • Quy trình giám sát lý tưởng
    • Thách thức khi giám sát mô hình ML trong sản xuất
    • Hai lỗi âm thầm: covariate shift và concept drift
    • Sáu phương pháp phát hiện covariate shift
    • Cơ sở lý thuyết của CBPE và DLE (ước lượng hiệu năng)
Giám sát Machine Learning bằng Python

Khóa học này sẽ bao gồm gì?

  • Xây dựng hệ thống giám sát vững chắc với NannyML
  • Triển khai thuật toán ước lượng hiệu năng
  • Dùng bộ tính kinh doanh để đo giá trị tiền tệ của mô hình
  • Chạy phát hiện covariate shift đơn biến và đa biến
Giám sát Machine Learning bằng Python

Thách thức khi giám sát

$$

Không có ground truth

Biểu đồ cho thấy ROC AUC theo thời gian; sau khi triển khai, phần sau trống do không có ground truth.

$$

Mệt mỏi vì cảnh báo

Hình cho thấy phân phối dữ liệu thay đổi theo thời gian; một số vùng đỏ báo hiệu dịch chuyển, kèm ghi chú. Có nên lo không, hay là cảnh báo giả?

Giám sát Machine Learning bằng Python

Giải pháp nguồn mở

Logo NannyML và các công ty sử dụng như Walmart, Allianz, UBS, DeepMind. Cũng nêu rằng NannyML hoạt động với mọi framework.

Giám sát Machine Learning bằng Python

Tính năng chính

  1. Giám sát điều quan trọng
    • Ước lượng và tính hiệu năng
    • Ước lượng và tính giá trị kinh doanh
  2. Tìm vấn đề
    • Đơn biến
    • Đa biến
    • Chất lượng dữ liệu
  3. Khắc phục
    • Kích hoạt huấn luyện lại
Giám sát Machine Learning bằng Python

Cách dùng NannyML

Hình minh họa dữ liệu kiểm thử và sản xuất được đưa vào NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Giám sát Machine Learning bằng Python

Ayo berlatih!

Giám sát Machine Learning bằng Python

Preparing Video For Download...