ความน่าเชื่อถือและความไว้วางใจ

AI สำหรับนักวิเคราะห์ข้อมูล

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

เกือบพลาด...

claude_error1.jpg

AI สำหรับนักวิเคราะห์ข้อมูล

เกือบพลาด...

claude_error2.jpg

AI สำหรับนักวิเคราะห์ข้อมูล

AI แสดงความมั่นใจเสมอ

 

  • ผลลัพธ์ที่ผิดดูดีไม่ต่างจากผลลัพธ์ที่ถูก
  • ไม่มีสัญญาณบอกว่า "ตรงนี้อาจผิดนะ"
  • ถ้าไม่ตรวจสอบ คุณ คือคนที่ปล่อยข้อผิดพลาดออกไป

ai_hallucination.png

AI สำหรับนักวิเคราะห์ข้อมูล

การตรวจสอบไม่ใช่การทำงานซ้ำ

 

  • สัญชาตญาณที่ผิด: ทำงานซ้ำ ในเครื่องมือ BI
  • มองผลลัพธ์จาก AI เหมือน นักวิเคราะห์จูเนียร์ฝีมือดี ทรงพลังแต่ไม่ได้น่าเชื่อถือโดยอัตโนมัติ
  • หน้าที่ของคุณ: ทดสอบความน่าเชื่อถือ ไม่ใช่ทำงานซ้ำ

verification_duplication.png

AI สำหรับนักวิเคราะห์ข้อมูล

ขั้นตอนการตรวจสอบ

spot1.jpg

AI สำหรับนักวิเคราะห์ข้อมูล

ขั้นตอนการตรวจสอบ

spot2.jpg

 

  1. เลือก จุดข้อมูลจุดหนึ่ง
  2. กรอง ข้อมูลดิบด้วยตัวเองไปยังจุดนั้น
  3. ตรวจสอบ การคำนวณของจุดนั้น
AI สำหรับนักวิเคราะห์ข้อมูล

ขั้นตอนการตรวจสอบ

spot3.jpg

 

  1. คัดลอก โค้ดหรือผลลัพธ์จาก AI
  2. วาง ลงในผู้ช่วยหรือบทสนทนาอื่น
  3. ให้ ตรวจหาข้อผิดพลาดเชิงตรรกะ
AI สำหรับนักวิเคราะห์ข้อมูล

ขั้นตอนการตรวจสอบ

spot4.jpg

 

  1. ทำ การตรวจสอบเชิงตรรกะทางธุรกิจ
  2. ถาม: ข้อมูลเชิงลึกนี้สอดคล้องกับประสบการณ์หรือไม่
AI สำหรับนักวิเคราะห์ข้อมูล

ขั้นตอนการตรวจสอบ

spot5.jpg

 

  1. ให้ AI รันโค้ดของตัวเองกับกรณีขอบ (ค่า null ค่าซ้ำ ค่าศูนย์)
AI สำหรับนักวิเคราะห์ข้อมูล

ปรับความเข้มข้นให้เหมาะกับความเสี่ยง

rigor_stakes.png

  • งานสำรวจหรืองานเฉพาะกิจ → ตรวจสอบแบบเบา
  • แดชบอร์ดที่ใช้งานจริง การนำเสนอต่อบอร์ดบริหาร ฯลฯ → ตรวจสอบแบบเข้มข้น
AI สำหรับนักวิเคราะห์ข้อมูล

มนุษย์ต้องอยู่ในวงจรเสมอ

human_in_the_loop.png

AI สำหรับนักวิเคราะห์ข้อมูล

AI ประจบเอาใจ

 

  • AI มักเห็นด้วยกับคุณ
  • ใบ้ ผลักดัน หรือสื่อสมมติฐาน → AI จะทำตามสัญญาณนั้น
  • แนวป้องกันฝั่งพรอมป์: ใช้ภาษาที่เป็นกลาง
  • แนวป้องกันฝั่งตรวจสอบ: เข้มงวดที่สุดกับผลลัพธ์ที่ ยืนยัน สิ่งที่ต้องการอยู่แล้ว

ai_sycophancy.png

AI สำหรับนักวิเคราะห์ข้อมูล

มาฝึกกันเถอะ!

AI สำหรับนักวิเคราะห์ข้อมูล

Preparing Video For Download...