Verifierbarhet och tillit

AI för dataanalytiker

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Nära ögat...

Nära ögat...

AI utstrålar säkerhet

 

• Fel svar ser lika polerade ut som rätt svar
• Ingen visuell signal som säger "Jag kan ha fel här"
• Om du inte kontrollerar är det _du_ som levererar felet

Verifiering är inte att upprepa jobbet

 

• Fel instinkt: göra om arbetet i ett BI-verktyg
• Behandla AI:ns utdata som en snabb junioranalytiker — kraftfull, men inte automatiskt pålitlig
• Ditt jobb: stresstesta det, inte göra om det

Verifieringsflödet

Verifieringsflödet

 

1. Välj en specifik datapunkt
2. Filtrera rådatan manuellt till den punkten
3. Verifiera beräkningen för den punkten

Verifieringsflödet

 

1. Kopiera AI:ns kod eller utdata
2. Klistra in i en annan assistent eller konversation
3. Be den hitta logiska fel

Verifieringsflödet

 

1. Gör en rimlighetskontroll ur affärsperspektiv
2. Fråga: stämmer insikten med din erfarenhet?

Verifieringsflödet

 

1. Be AI köra sin egen kod mot gränsfall (null-värden, dubbletter, nollor)

Anpassa noggrannheten efter riskerna

• Utforskande eller ad-hoc-arbete → lättare tillämpning
• Produktionsdashboard, styrelsepresentation, etc. → tyngre tillämpning

Human-in-the-loop är själva jobbet

AI:ns inställsamhet

 

• AI tenderar att hålla med dig
• Antyd, ifrågasätt eller föreslå en hypotes → AI följer ledtråden
• Skydd i prompten: håll språket neutralt
• Skydd i verifieringen: var mest kritisk mot resultat som bekräftar det du ville se

Nu kör vi en övning!

AI för dataanalytiker