Khả năng kiểm chứng và niềm tin

AI cho Data Analyst

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Suýt sai...

Suýt sai...

AI thể hiện tự tin

 

• Kết quả sai trông bóng bẩy như kết quả đúng
• Không có tín hiệu trực quan nói "Tôi có thể sai"
• Nếu không kiểm tra, bạn sẽ phát hành lỗi

Xác minh không phải làm lại lần hai

 

• Bản năng sai: làm lại trong công cụ BI
• Xem đầu ra của AI như phân tích viên mới làm nhanh — mạnh nhưng không mặc định đáng tin
• Nhiệm vụ của bạn: stress-test, không phải làm lại

Quy trình xác minh

Quy trình xác minh

 

1. Chọn một điểm dữ liệu cụ thể
2. Lọc thủ công dữ liệu thô tới điểm đó
3. Xác minh phép tính cho điểm đó

Quy trình xác minh

 

1. Sao chép mã hoặc đầu ra của AI
2. Dán vào trợ lý hay cuộc trò chuyện khác
3. Yêu cầu tìm lỗi logic

Quy trình xác minh

 

1. Chạy kiểm tra hợp lý theo nghiệp vụ
2. Hỏi: thông tin này có phù hợp kinh nghiệm không?

Quy trình xác minh

 

1. Yêu cầu AI chạy mã của chính nó với các biên (null, trùng, 0)

Phù hợp mức nghiêm ngặt với mức rủi ro

• Khám phá hoặc ad-hoc → áp dụng nhẹ
• Dashboard sản xuất, thuyết trình cho lãnh đạo, v.v. → áp dụng nghiêm hơn

Human-in-the-loop là công việc

Nịnh hót của AI

 

• AI hay đồng tình với bạn
• Gợi ý, phản biện, hoặc ngụ ý giả thuyết → AI sẽ theo
• Phòng thủ phía prompt: giữ ngôn ngữ trung lập
• Phòng thủ phía xác minh: nghiêm khắc nhất với phát hiện xác nhận điều bạn muốn

Ayo berlatih!

AI cho Data Analyst