Když jsou dostupné štítky

Monitoring Machine Learning in Python

Maciej Balawejder

Data Scientist

Odhadovaný vs. realizovaný výkon

Odhadovaný výkon:

  • měří očekávaný výkon modelu

  • určen pomocí odhadovačů jako CBPE a DLE

  • odhadován, když není dostupná skutečná hodnota

Realizovaný výkon:

  • představuje naměřený výkon
  • určen pomocí kalkulátoru výkonu
  • vypočítán, když je dostupná skutečná hodnota
Monitoring Machine Learning in Python

Zpožděná skutečná hodnota

Obrázek zobrazuje časovou osu se třemi body pro každý týden. Každé pondělí je vyhodnocen realizovaný výkon modelu, zatímco odhadovač CBPE se používá k odhadování výkonu mezi pondělky.

Monitoring Machine Learning in Python

Kalkulátor výkonu

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Monitoring Machine Learning in Python

Vizualizace výsledků

# Show realized performance plot
results.plot().show()

Obrázek znázorňuje graf realizovaného ROC AUC, ukazující pokles výkonu od dubna 2019 do srpna 2019.

Monitoring Machine Learning in Python

Realizovaný a odhadovaný výkon

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Monitoring Machine Learning in Python

Realizovaný a odhadovaný výkon

Graf porovnává realizovaný a odhadovaný výkon pro metriku ROC AUC.

Monitoring Machine Learning in Python

Pojďme cvičit!

Monitoring Machine Learning in Python

Preparing Video For Download...