जब लेबल उपलब्ध हों

Python में मशीन लर्निंग मॉनिटरिंग

Maciej Balawejder

Data Scientist

Estimated बनाम Realized प्रदर्शन

अनुमानित प्रदर्शन:

बताता है मॉडल {{1}} पर कितना अच्छा करेगा
CBPE और DLE जैसे estimators से निर्धारित
जब ground truth उपलब्ध न हो तब estimate किया जाता है

वास्तविक प्रदर्शन:

मापा गया प्रदर्शन दर्शाता है
performance calculator से निर्धारित
जब ground truth उपलब्ध हो तब calculate किया जाता है

देरी से मिलने वाला ground truth

चित्र में एक समय-रेखा है जिसमें हर सप्ताह तीन बिंदु हैं। हर सोमवार मॉडल का realized प्रदर्शन मापा जाता है, जबकि सोमवारों के बीच CBPE estimator से प्रदर्शन का अनुमान लगाया जाता है।

Performance calculator

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)

परिणाम प्लॉट करें

# Show realized performance plot
results.plot().show()

चित्र realized ROC AUC ग्राफ दिखाता है, जिसमें अप्रैल 2019 से अगस्त 2019 तक प्रदर्शन में गिरावट है।

Realized और Estimated प्रदर्शन

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()

Realized और Estimated प्रदर्शन

प्लॉट ROC AUC मेट्रिक के लिए realized और estimated प्रदर्शन की तुलना करता है।

अभ्यास करते हैं!

Python में मशीन लर्निंग मॉनिटरिंग