Коли доступні мітки

Моніторинг Machine Learning у Python

Maciej Balawejder

Data Scientist

Оцінена vs реалізована продуктивність

Оцінена продуктивність:

  • показує, як добре модель очікувано працює

  • визначається за допомогою оцінювачів на кшталт CBPE і DLE

  • оцінюється, коли ground truth недоступний

Реалізована продуктивність:

  • відображає виміряну продуктивність
  • визначається за допомогою калькулятора продуктивності
  • обчислюється, коли ground truth доступний
Моніторинг Machine Learning у Python

Затримка ground truth

На часовій осі по три точки на кожен тиждень: щопонеділка вимірюють реалізовану продуктивність моделі, а між понеділками її оцінює CBPE.

Моніторинг Machine Learning у Python

Калькулятор продуктивності

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Моніторинг Machine Learning у Python

Побудова результатів

# Show realized performance plot
results.plot().show()

Графік реалізованого ROC AUC показує падіння продуктивності з квітня 2019 до серпня 2019.

Моніторинг Machine Learning у Python

Реалізована та оцінена продуктивність

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Моніторинг Machine Learning у Python

Реалізована та оцінена продуктивність

Графік порівнює реалізовану та оцінену продуктивність за метрикою ROC AUC.

Моніторинг Machine Learning у Python

Давайте потренуємось!

Моніторинг Machine Learning у Python

Preparing Video For Download...