O sistema de IA que você implantou é bem-sucedido?

Entendendo a inteligência artificial

Maarten Van den Broeck

Senior Content Developer at DataCamp

Quando medir o sucesso?

Ciclo de vida da metodologia MLOps

Entendendo a inteligência artificial

Quando medir o sucesso?

Medindo o sucesso ao longo do ciclo de vida de MLOps

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Dados de treinamento e validação

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Treinamento de um modelo

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Validação de um modelo com exemplos de teste

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Comparação das previsões com os rótulos reais

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Cálculo da precisão

Entendendo a inteligência artificial

Além da precisão - erro e outras métricas

Métrica de erro em modelos de regressão

Métricas para mecanismos de busca e recomendação: qualidade da classificação, relevância dos itens de classificação para o usuário, diversidade nos resultados de pesquisa ou recomendações etc.

Classificação dos produtos recomendados

Entendendo a inteligência artificial

Medição do sucesso na produção

  • Degradação do modelo: o valor da métrica medida piora com o tempo

Degradação do modelo

  • Métricas de negócios: Principais indicadores de desempenho (KPIs)
    • Indicador de desempenho e progresso dos objetivos da organização
Entendendo a inteligência artificial

Riscos: o que pode dar errado?

Possíveis riscos incluem:

  • Viés de dados
  • Falta de transparência
  • Preocupações éticas
  • Confiabilidade duvidosa do sistema
  • Vulnerabilidade a ameaças cibernéticas

Prova de conceito (PoC):

  • Demonstração piloto para validar a viabilidade e o valor potencial + identificação precoce de riscos
Entendendo a inteligência artificial

Vamos praticar!

Entendendo a inteligência artificial

Preparing Video For Download...