O sistema de IA que você implantou é bem-sucedido?

Entendendo a inteligência artificial

Maarten Van den Broeck

Senior Content Developer at DataCamp

Quando medir o sucesso?

MLOCiclo de vida da metodologia ps

Entendendo a inteligência artificial

Quando medir o sucesso?

Medindo o sucesso em todo o ciclo de vida do MLOps

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Dados de treinamento e validação

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Treinamento de um modelo

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Validação de um modelo com exemplos de teste

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Comparação das previsões com os rótulos reais

Entendendo a inteligência artificial

Medição de desempenho off-line - precisão

Cálculo da precisão

Entendendo a inteligência artificial

Além da precisão - erro e outras métricas

Métrica de erro em modelos de regressão

Métricas de pesquisa e recomendação: qualidade, relevância e diversidade

Classificação dos produtos recomendados

Entendendo a inteligência artificial

Medição do sucesso na produção

  • Degradação do modelo: o valor da métrica medida piora com o tempo

Degradação do modelo

  • Métricas de negócios: Principais indicadores de desempenho (KPIs)
    • Indicador de desempenho e progresso dos objetivos da organização
Entendendo a inteligência artificial

Riscos: o que poderia dar errado?

Os possíveis riscos incluem:

  • Viés de dados
  • Falta de transparência
  • Preocupações éticas
  • Confiabilidade duvidosa do sistema
  • Vulnerabilidade a ameaças cibernéticas

Prova de conceito (PoC):

  • Demonstração piloto para validar a viabilidade e o valor potencial + identificação precoce de riscos
Entendendo a inteligência artificial

Vamos praticar!

Entendendo a inteligência artificial

Preparing Video For Download...