Verificabilidade e confiança

IA para Analistas de Dados

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Por pouco...

Por pouco...

IA projeta confiança

 

• Saídas erradas parecem tão polidas quanto as certas
• Sem sinal visual de "posso estar errado"
• Se você não checa, você entrega o erro

Verificar não é fazer duas vezes

 

• Instinto errado: refazer o trabalho num BI
• Trate a saída da IA como analista júnior rápido — potente, não confiável por padrão
• Seu papel: fazer stress test, não refazer

O fluxo de verificação

O fluxo de verificação

 

1. Escolha um dado específico
2. Filtre manualmente os dados brutos até esse ponto
3. Verifique o cálculo desse ponto

O fluxo de verificação

 

1. Copie o código ou saída da IA
2. Cole em outro assistente ou conversa
3. Peça para achar falhas lógicas

O fluxo de verificação

 

1. Faça um sanity check de negócio
2. Pergunte: esse insight bate com a experiência?

O fluxo de verificação

 

1. Peça para a IA rodar o próprio código com casos limite (nulos, duplicados, zeros)

Ajuste o rigor ao impacto

• Exploratória ou ad hoc → aplicação mais leve
• Dashboard de produção, apresentação ao board etc. → aplicação mais rigorosa

Humano no loop é o trabalho

Bajulação da IA

 

• IA tende a concordar com você
• Sugerir, contestar ou insinuar hipótese → a IA segue
• Defesa no prompt: mantenha linguagem neutra
• Defesa na verificação: seja mais crítico com achados que confirmam o que você queria

Vamos praticar!

IA para Analistas de Dados