Estimativa de desempenho

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Visão geral

Dois algoritmos de estimativa de desempenho:

CBPE - tarefas de classificação
DLE - tarefas de regressão

CBPE - Como funciona

Estima uma matriz de confusão

Permite calcular métricas como acurácia, precisão, recall

Captura o impacto de covariate shift no modelo

CBPE - Considerações

Sem covariate shift nas regiões não vistas

Sem concept drift nos dados recebidos

Requer calibração de probabilidades

DLE - Como funciona

Prediz o erro absoluto do modelo

Usa um modelo filho externo

Permite calcular métricas de regressão como MAE, MSE, MSLE

Captura a presença de covariate shift nos dados de entrada

A imagem descreve o processo de estimativa de desempenho para uma tarefa de regressão em produção. Primeiro, os dados de análise entram no modelo para gerar previsões. Essas previsões, junto com os dados de análise, são passadas ao modelo filho, que prediz o erro. Com essa predição de erro, outras métricas de regressão são calculadas para avaliar o desempenho do modelo.

DLE - Considerações

Sem covariate shift nas regiões não vistas

Sem concept drift nos dados recebidos

Maior complexidade

Vamos praticar!

Conceitos de Monitoramento de Machine Learning