Когда метки доступны

Мониторинг машинного обучения на Python

Maciej Balawejder

Data Scientist

Оценочная и фактическая производительность

Оценочная производительность:

  • отражает ожидаемое качество модели

  • определяется с помощью эстиматоров, таких как CBPE и DLE

  • оценивается при отсутствии истинных меток

Фактическая производительность:

  • представляет измеренное качество
  • определяется с помощью калькулятора производительности
  • вычисляется при наличии истинных меток
Мониторинг машинного обучения на Python

Запаздывающие истинные метки

На изображении показана временна́я ось с тремя точками для каждой недели. Каждый понедельник оценивается фактическая производительность модели, а между понедельниками для оценки используется эстиматор CBPE.

Мониторинг машинного обучения на Python

Калькулятор производительности

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Мониторинг машинного обучения на Python

Визуализация результатов

# Show realized performance plot
results.plot().show()

На графике показан фактический ROC AUC с падением производительности с апреля 2019 по август 2019 года.

Мониторинг машинного обучения на Python

Фактическая и оценочная производительность

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Мониторинг машинного обучения на Python

Фактическая и оценочная производительность

На графике сравнивается фактическая и оценочная производительность по метрике ROC AUC.

Мониторинг машинного обучения на Python

Давайте потренируемся!

Мониторинг машинного обучения на Python

Preparing Video For Download...