Doğrulanabilirlik ve güven

Veri Analistleri için AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Ucuz atlatılan bir hata...

claude_error1.jpg

Veri Analistleri için AI

Ucuz atlatılan bir hata...

claude_error2.jpg

Veri Analistleri için AI

YZ güven yayıyor

 

  • Hatalı çıktılar, doğru olanlar kadar cilalı görünür
  • "Burada hata yapmış olabilirim" diyen görsel bir sinyal yok
  • Kontrol etmezseniz, hatayı siz yayımlarsınız

ai_hallucination.png

Veri Analistleri için AI

Doğrulama işi iki kez yapmak değildir

 

  • Yanlış içgüdü: çalışmayı bir BI aracında yeniden yapmak
  • YZ çıktısını hızlı bir junior analist gibi ele alın — güçlü, doğası gereği güvenilir değil
  • Göreviniz: onu yeniden yapmak değil, stres testine tabi tutmak

verification_duplication.png

Veri Analistleri için AI

Doğrulama iş akışı

spot1.jpg

Veri Analistleri için AI

Doğrulama iş akışı

spot2.jpg

 

  1. Belirli bir veri noktasını seçin
  2. Ham veriyi bu noktaya elle filtreleyin
  3. Bu noktanın hesaplamasını doğrulayın
Veri Analistleri için AI

Doğrulama iş akışı

spot3.jpg

 

  1. YZ'nin kodunu/çıktısını kopyalayın
  2. Farklı bir asistana veya sohbete yapıştırın
  3. Mantık hatalarını bulmasını isteyin
Veri Analistleri için AI

Doğrulama iş akışı

spot4.jpg

 

  1. İş açısından makullük kontrolü yapın
  2. Sorun: Bu içgörü deneyimle uyumlu mu?
Veri Analistleri için AI

Doğrulama iş akışı

spot5.jpg

 

  1. YZ'den kodunu uç durumlarda (null değerler, yinelenenler, sıfırlar) çalıştırmasını isteyin
Veri Analistleri için AI

Sıkılığı riske göre ayarlayın

rigor_stakes.png

  • Keşif ya da ad-hoc çalışma → daha hafif uygulama
  • Üretim panosu, yönetim sunumu vb. → daha sıkı uygulama
Veri Analistleri için AI

Döngüde insan, işinizin parçası

human_in_the_loop.png

Veri Analistleri için AI

YZ dalkavukluğu

 

  • YZ size katılma eğilimindedir
  • İpucu verin, itiraz edin veya bir hipotez sezdirmeyin → YZ ipucunu izler
  • İstem tarafı savunması: dili nötr tutun
  • Doğrulama tarafı savunması: özellikle istediğinizi doğrulayan bulgulara en sert yaklaşın

ai_sycophancy.png

Veri Analistleri için AI

Hadi pratik yapalım!

Veri Analistleri için AI

Preparing Video For Download...