Por que monitorar seu modelo

Conceitos de Monitoramento de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

ML em produção

Processo típico de desenvolvimento

O fluxo em setas tem quatro etapas: definir o projeto, preparar os dados, treinar o modelo e implantar.

Depois da implantação

Versão atualizada do fluxo de desenvolvimento em dados, com uma nova seta para monitoramento após a fase de implantação. Também há setas ligando o monitoramento às etapas de preparar dados, treinar o modelo e implantar, permitindo melhorias iterativas com base nas métricas do desempenho do modelo.

Reduzindo o risco de falha

O caso da Zillow

Uma placa de "à venda" na frente de uma casa.

Por que um modelo pode falhar:

Problemas de software
Deriva nos dados de entrada
Mudanças na relação entre features e alvo

Maximizando o impacto no negócio

Otimizar o modelo para os objetivos de negócio

Reduzir custos na nuvem

A imagem mostra uma pirâmide de seis blocos de madeira. A base forma um KPI com cada letra em um bloco. As camadas de cima representam crescimento, metas alcançadas e mais eficiência.

A imagem mostra o logo de nuvem formado por nove blocos de madeira.

Aumentando a segurança de IA

Três problemas de segurança:

Viés – saída justa para diferentes grupos de usuários

Ataques adversariais – detectar manipulação maliciosa dos dados de entrada

Falta de explicabilidade – entender como o modelo decide

A imagem mostra um bloco de madeira com uma balança sendo movido para frente, simbolizando mais justiça no sistema e menos viés.

A imagem mostra um bloco de madeira sendo movido para frente com um cadeado, simbolizando mais segurança.

A imagem mostra um bloco de madeira sendo movido para frente, com linhas saindo da imagem de uma cabeça para representar maior entendimento do sistema de IA.

Mudando o mundo com dados

O processo de automatização

A imagem mostra uma linha de produção automatizada.

Vamos praticar!

Conceitos de Monitoramento de Machine Learning