Quando há rótulos disponíveis

Monitoramento de Machine Learning em Python

Maciej Balawejder

Data Scientist

Desempenho estimado vs. realizado

Desempenho estimado:

  • mede quão bem o modelo deve performar

  • definido por estimadores como CBPE e DLE

  • estimado quando não há verdade de base

Desempenho realizado:

  • representa o desempenho medido
  • definido com calculadora de desempenho
  • calculado quando há verdade de base
Monitoramento de Machine Learning em Python

Verdade de base atrasada

A imagem mostra um eixo temporal com três pontos por semana. Toda segunda-feira, o desempenho realizado do modelo é avaliado, enquanto o estimador CBPE é usado para estimar o desempenho entre as segundas.

Monitoramento de Machine Learning em Python

Calculadora de desempenho

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Monitoramento de Machine Learning em Python

Gerar o gráfico de resultados

# Show realized performance plot
results.plot().show()

A imagem ilustra o gráfico de ROC AUC realizado, mostrando uma queda de desempenho de abril de 2019 a agosto de 2019.

Monitoramento de Machine Learning em Python

Desempenho realizado e estimado

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Monitoramento de Machine Learning em Python

Desempenho realizado e estimado

O gráfico compara o desempenho realizado e estimado para a métrica ROC AUC.

Monitoramento de Machine Learning em Python

Vamos praticar!

Monitoramento de Machine Learning em Python

Preparing Video For Download...