Weryfikowalność i zaufanie

AI dla analityków danych

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

O włos od pomyłki...

O włos od pomyłki...

AI zawsze brzmi pewnie

 

• Błędne odpowiedzi wyglądają tak samo dopracowane jak poprawne
• Żadnego sygnału typu „mogę się tu mylić"
• Jeśli nie sprawdzisz, błąd wypuszczasz w świat _ty_

Weryfikacja to nie powielanie pracy

 

• Błędny odruch: powtórzyć pracę w narzędziu BI
• Traktuj wynik AI jak szybkiego młodszego analityka — przydatnego, ale niekoniecznie wiarygodnego
• Twoje zadanie: przetestować go, nie powtarzać pracy

Proces weryfikacji

Proces weryfikacji

 

1. Wybierz konkretny punkt danych
2. Odfiltruj ręcznie surowe dane do tego punktu
3. Sprawdź obliczenia dla tego punktu

Proces weryfikacji

 

1. Skopiuj kod lub wynik od AI
2. Wklej go do innego asystenta lub innej rozmowy
3. Poproś o znalezienie błędów logicznych

Proces weryfikacji

 

1. Zrób szybką weryfikację biznesową
2. Zapytaj: czy ten wniosek zgadza się z doświadczeniem?

Proces weryfikacji

 

1. Poproś AI, by przetestowała własny kod na przypadkach brzegowych (wartości null, duplikaty, zera)

Dopasuj rygor do stawki

• Praca eksploracyjna lub doraźna → lżejsze podejście
• Dashboard produkcyjny, prezentacja dla zarządu itp. → bardziej rygorystyczne podejście

Twoja rola: człowiek w pętli

Nadmierna uległość AI

 

• AI ma tendencję, by się z tobą zgadzać
• Podpowiedz, sprzeciw się lub zasugeruj hipotezę → AI podąży za tym sygnałem
• Zabezpieczenie w promptach: używaj neutralnego języka
• Zabezpieczenie w weryfikacji: najsurowiej oceniaj wyniki, które potwierdzają to, czego chciałeś

Czas na praktykę!

AI dla analityków danych