Ověřitelnost a důvěra

AI pro datové analytiky

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

O vlásek od chyby...

O vlásek od chyby...

AI působí sebejistě

 

• Špatné výstupy vypadají stejně přesvědčivě jako ty správné
• Žádný vizuální signál typu „Tady se možná pletu"
• Pokud to nezkontroluješ, chybu pustíš do světa _ty_

Ověřování neznamená dělat to dvakrát

 

• Špatný instinkt: předělat práci v BI nástroji
• Ber výstup AI jako rychlého juniorního analytika — šikovného, ale ne automaticky důvěryhodného
• Tvůj úkol: prověřit ho, ne dělat znovu

Postup ověřování

Postup ověřování

 

1. Vyber konkrétní datový bod
2. Vyfiltruj ručně surová data k tomuto bodu
3. Ověř výpočet pro daný bod

Postup ověřování

 

1. Zkopíruj kód nebo výstup AI
2. Vlož ho do jiného asistenta nebo konverzace
3. Požádej ho o nalezení logických chyb

Postup ověřování

 

1. Proveď obchodní kontrolu zdravého rozumu
2. Zeptej se: odpovídá tento poznatek zkušenosti?

Postup ověřování

 

1. Požádej AI, aby svůj kód otestovala na krajních případech (nulové hodnoty, duplicity, nuly)

Přizpůsob důkladnost riziku

• Průzkumná nebo příležitostná práce → lehčí přístup
• Produkční dashboard, prezentace pro vedení atd. → důkladnější přístup

Human-in-the-loop je tvoje práce

Podlézavost AI

 

• AI má tendenci s tebou souhlasit
• Naznačíš, oponuješ nebo navrhneš hypotézu → AI se podle toho řídí
• Obrana na straně promptu: udržuj neutrální formulace
• Obrana na straně ověřování: buď nejpřísnější k závěrům, které potvrzují tvá očekávání

Pojďme cvičit!

AI pro datové analytiky