O sistema de IA que você implantou é bem-sucedido?

Entendendo a inteligência artificial

Maarten Van den Broeck

Senior Content Developer at DataCamp

Quando medir o sucesso?

Ciclo de vida da metodologia MLOps

Quando medir o sucesso?

Medindo o sucesso ao longo do ciclo de vida de MLOps

Medição de desempenho off-line - precisão

Dados de treinamento e validação

Medição de desempenho off-line - precisão

Treinamento de um modelo

Medição de desempenho off-line - precisão

Validação de um modelo com exemplos de teste

Medição de desempenho off-line - precisão

Comparação das previsões com os rótulos reais

Medição de desempenho off-line - precisão

Cálculo da precisão

Além da precisão - erro e outras métricas

Métrica de erro em modelos de regressão

Métricas para mecanismos de busca e recomendação: qualidade da classificação, relevância dos itens de classificação para o usuário, diversidade nos resultados de pesquisa ou recomendações etc.

Classificação dos produtos recomendados

Medição do sucesso na produção

Degradação do modelo: o valor da métrica medida piora com o tempo

Degradação do modelo

Métricas de negócios: Principais indicadores de desempenho (KPIs)
- Indicador de desempenho e progresso dos objetivos da organização

Riscos: o que pode dar errado?

Possíveis riscos incluem:

Viés de dados
Falta de transparência
Preocupações éticas
Confiabilidade duvidosa do sistema
Vulnerabilidade a ameaças cibernéticas

Prova de conceito (PoC):

Demonstração piloto para validar a viabilidade e o valor potencial + identificação precoce de riscos

Vamos praticar!

Entendendo a inteligência artificial