Verificabilitate și încredere

AI pentru analiști de date

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Aproape...

claude_error1.jpg

AI pentru analiști de date

Aproape...

claude_error2.jpg

AI pentru analiști de date

AI-ul emană încredere

 

  • Rezultatele greșite arată la fel de convingător ca cele corecte
  • Niciun semnal vizual care să spună "Aici aș putea greși"
  • Dacă nu verifici, _tu_ trimiți eroarea mai departe

ai_hallucination.png

AI pentru analiști de date

Verificarea nu înseamnă să repeți munca

 

  • Instinct greșit: refă munca într-un instrument BI
  • Tratează rezultatul AI ca pe un analist junior rapid — puternic, dar nu neapărat de încredere
  • Sarcina ta: testează-l riguros, nu îl reface

verification_duplication.png

AI pentru analiști de date

Fluxul de verificare

spot1.jpg

AI pentru analiști de date

Fluxul de verificare

spot2.jpg

 

  1. Alege un punct de date specific
  2. Filtrează manual datele brute până la acel punct
  3. Verifică calculul pentru acel punct
AI pentru analiști de date

Fluxul de verificare

spot3.jpg

 

  1. Copiază codul sau rezultatul generat de AI
  2. Lipește într-un alt asistent sau altă conversație
  3. Cere-i să găsească erori de logică
AI pentru analiști de date

Fluxul de verificare

spot4.jpg

 

  1. o verificare de bun-simț la nivel de business
  2. Întreabă-te: se potrivește această concluzie cu experiența ta?
AI pentru analiști de date

Fluxul de verificare

spot5.jpg

 

  1. Cere-i AI-ului să ruleze propriul cod pe cazuri limită (valori null, duplicate, zerouri)
AI pentru analiști de date

Adaptează rigoarea la miză

rigor_stakes.png

  • Munca exploratorie sau ad-hoc → aplicare mai ușoară
  • Dashboard de producție, prezentare pentru board etc. → aplicare mai riguroasă
AI pentru analiști de date

Supravegherea umană este meseria ta

human_in_the_loop.png

AI pentru analiști de date

Lingușirea AI-ului

 

  • AI-ul tinde să fie de acord cu tine
  • Dai un indiciu, te opui sau sugerezi o ipoteză → AI-ul urmează semnalul
  • Apărare la nivel de prompt: păstrează un limbaj neutru
  • Apărare la nivel de verificare: fii cel mai exigent cu descoperirile care confirmă ce voiai să găsești

ai_sycophancy.png

AI pentru analiști de date

Hai să exersăm!

AI pentru analiști de date

Preparing Video For Download...