Ověřitelnost a důvěra

AI pro datové analytiky

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Skoro průšvih...

claude_error1.jpg

AI pro datové analytiky

Skoro průšvih...

claude_error2.jpg

AI pro datové analytiky

AI působí sebejistě

 

  • Chybné výstupy vypadají stejně upraveně jako správné
  • Žádný vizuální signál říkající „zde se mohu mýlit"
  • Pokud to nezkontrolujete, _vy_ odešlete chybu

ai_hallucination.png

AI pro datové analytiky

Ověřování neznamená dělat to dvakrát

 

  • Chybný instinkt: zopakovat práci v BI nástroji
  • Přistupujte k výstupu AI jako k rychlému juniornímu analytikovi — výkonnému, ne automaticky důvěryhodnému
  • Vaším úkolem: prověřit ho, ne opakovat práci

verification_duplication.png

AI pro datové analytiky

Postup ověřování

spot1.jpg

AI pro datové analytiky

Postup ověřování

spot2.jpg

 

  1. Vyberte konkrétní datový bod
  2. Ručně filtrujte nezpracovaná data na tento bod
  3. Ověřte výpočet pro daný bod
AI pro datové analytiky

Postup ověřování

spot3.jpg

 

  1. Zkopírujte kód nebo výstup AI
  2. Vložte do jiného asistenta nebo konverzace
  3. Požádejte ho, aby našel logické chyby
AI pro datové analytiky

Postup ověřování

spot4.jpg

 

  1. Proveďte obchodní test zdravého rozumu
  2. Ptejte se: odpovídá tento poznatek zkušenosti?
AI pro datové analytiky

Postup ověřování

spot5.jpg

 

  1. Požádejte AI, aby spustila vlastní kód na hraničních případech (null hodnoty, duplicity, nuly)
AI pro datové analytiky

Přizpůsobte důkladnost závažnosti

rigor_stakes.png

  • Průzkumná nebo jednorázová práce → lehčí přístup
  • Produkční dashboard, prezentace pro vedení apod. → důkladnější přístup
AI pro datové analytiky

Člověk v procesu je součástí práce

human_in_the_loop.png

AI pro datové analytiky

Podlézavost AI

 

  • AI má tendenci s vámi souhlasit
  • Naznačte, oponujte nebo naznačte hypotézu → AI se přizpůsobí
  • Obrana na straně promptu: udržujte jazyk neutrální
  • Obrana na straně ověřování: buďte nejkritičtější k výsledkům, které potvrzují vaše očekávání

ai_sycophancy.png

AI pro datové analytiky

Pojďme si procvičit!

AI pro datové analytiky

Preparing Video For Download...