Làm việc với kết quả tính toán và ước tính

Giám sát Machine Learning bằng Python

Maciej Balawejder

Data Scientist

Chia dữ liệu thế nào?

Hình minh họa ba kiểu chia khối: theo loại, theo kích thước và theo số lượng.

Chỉ định các kiểu chia khối

Hình minh họa các bí danh chia theo thời gian có thể truyền làm đối số cho tham số chunk period.

# Khởi tạo thuật toán
cbpe = nannyml.CBPE(
   problem_type='classification_binary',
   y_pred_proba='predicted_probability',
   y_pred='prediction',
   y_true='employed',
   metrics=['roc_auc'],
   chunk_period='m',
   # chunk_size = 5000, 
   # chunk_number = 10
)

Khởi tạo ngưỡng tùy chỉnh

Ngưỡng độ lệch chuẩn

Tự đặt hệ số nhân cho ngưỡng dưới và trên

# Standard deviation thresholds
stdt = StandardDeviationThreshold(
    std_lower_multiplier=3, 
    std_upper_multiplier=3
    )

Ngưỡng cố định

Tự đặt giá trị ngưỡng dưới và trên

# Constant thresholds
ct = ConstantThreshold(
    lower=0.85, 
    upper=0.95
    )

Chỉ định ngưỡng tùy chỉnh

# Import phương pháp đặt ngưỡng (slide trước)
from nannyml.thresholds import ConstantThreshold, StandardDeviationThreshold

# Truyền ngưỡng vào thuật toán CBPE
estimator = nannyml.CBPE(...
    metrics = ['roc_auc', 'accuracy'],
    thresholds={'roc_auc': ct, 'accuracy' : stdt}
)

Hình minh họa biểu đồ hiệu năng ước tính cho ROC AUC và Accuracy với ngưỡng tùy chỉnh.

Lọc kết quả

Theo giai đoạn

filtered_results = results.filter(period='analysis')

Theo chỉ số

filtered_results = results.filter(metrics=['mae'])

Kết hợp

filtered_results = results.filter(period='analysis', metrics=['mae'])

Xuất kết quả ra dataframe

# Xuất kết quả sang dạng dataframe
results.filter(period='analysis').to_df()

Hình minh họa kết quả ở dạng dataframe.

Ayo berlatih!

Giám sát Machine Learning bằng Python