Medição do desempenho da prova de conceito

Implementação de Soluções de IA nos Negócios

Jacob H. Marquez

Data Scientist

Como definir o sucesso?

$$

Como definir o sucesso?

$$

Como definir o sucesso?

$$

Como definir o sucesso?

$$

Medição do valor comercial

Medição do valor comercial

Chatbot de agendamento

Métricas

• Tempo do agente gasto com agendamento
• Número de consultas agendadas
• % de clientes interessados agendados
• Tempo até o agendamento da consulta

OBJETIVOS

• Reduzir horas gastas por atendentes com agendamentos
• Mais tempo para tarefas de alto nível
• Aumentar o número de clientes agendados

• % de consultas canceladas reagendadas

Medição do modelo de IA

Medição do modelo de IA

• Precisão: porcentagem de previsões corretas
• Métrica importante para a maioria das soluções de IA

Medição do modelo de IA

• Resultados relevantes com base na entrada
• Direta e indireta

Explicabilidade da IA

Explicabilidade é a capacidade de entender o processo de tomada de decisão da solução de IA.

• Imparcialidade, transparência, vieses e segurança

Imparcialidade

Transparência

Medição do desempenho da solução

Medição do desempenho da solução

Medição do desempenho da solução

Medição do desempenho da solução

Métricas

• Tempo de carregamento
• Tempo para confirmação da consulta
• Satisfação do cliente

Vamos praticar!

Implementação de Soluções de IA nos Negócios