प्रदर्शन आकलन

Python में मशीन लर्निंग मॉनिटरिंग

Hakim Elakhrass

Co-founder and CEO of NannyML

एल्गोरिदम

CBPE - confidence based performance estimation
DLE - direct loss estimation

डायरेक्ट लॉस एस्टीमेशन

रिग्रेशन टास्क के लिए उपयोग होता है
मॉनिटर किए गए मॉडल का loss function अंदाज़ा लगाता है
LGBM एक "extra" मॉडल के रूप में प्रयोग होता है
NannyML MAE, MSE या RMSE जैसे कई रिग्रेशन मेट्रिक्स सपोर्ट करता है

चित्र दिखाता है कि DLE एल्गोरिदम कैसे काम करता है। पहले, प्रोडक्शन डेटा एल्गोरिदम में आता है, और प्रेडिक्शन व प्रोडक्शन डेटा के आधार पर analysis set बनता है। यह analysis set extra मॉडल को भेजा जाता है ताकि प्रदर्शन का अनुमान लगाया जा सके।

DLE - कोड इम्प्लीमेंटेशन

# Initialize the DLE algorithm
estimator = nannyml.DLE(
    y_true='target',
    y_pred='y_pred',
    metrics=['rmse'],
    timestamp_column_name='timestamp',
    chunk_period='d'
    feature_column_names=features,
    tune_hyperparameters=False
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

कन्फिडेंस आधारित परफॉर्मेंस एस्टीमेशन

बाइनरी और मल्टीक्लास क्लासिफिकेशन समस्याओं के लिए उपयोग होता है
कन्फिडेंस स्कोर से confusion matrix का अनुमान लगाता है
किसी भी क्लासिफिकेशन परफॉर्मेंस मेट्रिक का आकलन करता है

चित्र दिखाता है कि CBPE एल्गोरिदम कैसे काम करता है। पहले, हम analysis set CBPE को देते हैं और confusion matrix का अनुमान लगाते हैं। confusion matrix के आधार पर अन्य क्लासिफिकेशन मेट्रिक्स निकाले जाते हैं।

CBPE - कोड इम्प्लीमेंटेशन

# Initialize the CBPE algorithm
estimator = nannyml.CBPE(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='targets',
    timestamp_column_name='timestamp',
    metrics=['roc_auc'],
    chunk_period='d',
    problem_type='classification_binary',
)

# Fit the algorithm
estimator.fit(reference)
results = estimator.estimate(analysis)

परिणाम

results.plot().show()

परिणामी प्लॉट समय के साथ अनुमानित RMSE मेट्रिक्स दिखाता है.

अभ्यास करते हैं!

Python में मशीन लर्निंग मॉनिटरिंग