Verificabilità e fiducia

AI per Data Analyst

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Quasi errore...

claude_error1.jpg

AI per Data Analyst

Quasi errore...

claude_error2.jpg

AI per Data Analyst

L'AI mostra sicurezza

 

  • Output sbagliati sembrano curati come quelli giusti
  • Nessun segnale visivo tipo "qui potrei sbagliare"
  • Se non controlli, l'errore lo spedisci tu

ai_hallucination.png

AI per Data Analyst

Verificare ≠ rifare

 

  • Istinto sbagliato: rifare il lavoro in un tool BI
  • Tratta l'AI come un junior analista veloce: potente, non affidabile di default
  • Tuo compito: stress test, non rifare

verification_duplication.png

AI per Data Analyst

Il workflow di verifica

spot1.jpg

AI per Data Analyst

Il workflow di verifica

spot2.jpg

 

  1. Scegli un dato specifico
  2. Filtra manualmente i grezzi su quel dato
  3. Verifica il calcolo per quel punto
AI per Data Analyst

Il workflow di verifica

spot3.jpg

 

  1. Copia il codice o l'output dell'AI
  2. Incolla in un altro assistente o chat
  3. Chiedi di trovare errori logici
AI per Data Analyst

Il workflow di verifica

spot4.jpg

 

  1. Fai un sanity check di business
  2. Chiedi: questo insight è coerente con l'esperienza?
AI per Data Analyst

Il workflow di verifica

spot5.jpg

 

  1. Chiedi all'AI di testare il suo codice su edge case (null, duplicati, zeri)
AI per Data Analyst

Adatta il rigore all'impatto

rigor_stakes.png

  • Esplorazione o ad hoc → applicazione più leggera
  • Dashboard di produzione, board, ecc. → applicazione più rigorosa
AI per Data Analyst

Il ruolo umano è centrale

human_in_the_loop.png

AI per Data Analyst

Piaggeria dell'AI

 

  • L'AI tende ad assecondarti
  • Suggerisci, contesta o insinua un'ipotesi → l'AI segue
  • Difesa nel prompt: linguaggio neutro
  • Difesa in verifica: sii più duro con ciò che conferma ciò che volevi

ai_sycophancy.png

AI per Data Analyst

Passons à la pratique !

AI per Data Analyst

Preparing Video For Download...