Monitorando a performance técnica diretamente

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Relação entre covariate shift e performance

Três tipos de shift de covariáveis:

  • Shift para regiões específicas

    • mais pessoas de alta renda pedindo empréstimo

  • Shift para regiões sub-representadas

    • 10% de pessoas de tech pedindo empréstimo em vez de 0,5% no treino

  • Shift para regiões incertas

    • de 20% para 40% de renda média perto do limite de decisão

 

-> Sem impacto

 

-> Impacto desconhecido

 

-> Impacto negativo

Conceitos de Monitoramento de Machine Learning

Impacto negativo garantido

 
 
 
 

Shift para regiões incertas sempre impacta negativamente a performance

A visualização do período de treino destaca a região onde o modelo tem menor certeza. Porém, em produção, há mais pessoas nessa região do que antes.

Conceitos de Monitoramento de Machine Learning

Problema de falsos alertas

A imagem mostra pontos representando alertas e como pontos importantes se perdem quando há alertas demais

Conceitos de Monitoramento de Machine Learning

A importância da performance técnica

  • Métrica direta de como o modelo executa a tarefa

 

  • Capta falhas silenciosas do modelo

 

  • Evita sobrecarga de falsos alertas

A imagem mostra parte de um diagrama de monitoramento. "Monitoramento de performance" no primeiro bloco; abaixo, ligado por linha pontilhada, um bloco pontilhado perguntando "o modelo ainda está performando?"; à direita, um losango com "degradação de performance"; seta para a direita com "sim" acima; e uma seta em loop de volta ao bloco de monitoramento com "não" acima.

Conceitos de Monitoramento de Machine Learning

Vamos praticar!

Conceitos de Monitoramento de Machine Learning

Preparing Video For Download...