검증 가능성과 신뢰

데이터 분석가를 위한 AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

아슬아슬한 실수...

아슬아슬한 실수...

AI는 자신감 있게 보입니다

 

• 잘못된 출력도 올바른 것만큼 완성도 있어 보입니다
• "여기서 틀릴 수 있습니다"라는 시각적 신호가 없음
• 확인하지 않으면 본인이 오류를 배포하게 됩니다

검증은 반복 작업이 아닙니다

 

• 잘못된 접근: BI 도구로 작업을 다시 수행하는 것
• AI 출력을 빠른 주니어 분석가처럼 다루세요 — 강력하지만 무조건 신뢰할 수는 없음
• 해야 할 일: 다시 하는 것이 아니라 스트레스 테스트

검증 워크플로

검증 워크플로

 

1. 특정 데이터 포인트 선택
2. 해당 포인트로 원시 데이터 수동 필터링
3. 해당 포인트의 계산 검증

검증 워크플로

 

1. AI 코드 또는 출력 복사
2. 다른 어시스턴트 또는 대화에 붙여넣기
3. 논리적 결함 탐지 요청

검증 워크플로

 

1. 비즈니스 상식 점검 실시
2. 확인: 이 인사이트가 경험과 일치하는가?

검증 워크플로

 

1. AI에게 엣지 케이스(null 값, 중복, 0)에 대해 자체 코드 실행 요청

중요도에 맞게 엄격함을 조정하세요

• 탐색적·임시 작업 → 가벼운 적용
• 프로덕션 대시보드, 이사회 발표 등 → 엄격한 적용

휴먼 인 더 루프가 곧 업무입니다

AI의 아첨 성향

 

• AI는 사용자의 말에 동조하는 경향이 있습니다
• 암시, 반박, 또는 가설 제시 → AI가 이를 따름
• 프롬프트 측 방어: 중립적인 언어 사용
• 검증 측 방어: 원하는 결과를 확인하는 발견일수록 더 엄격하게 검토

연습해 봅시다!

데이터 분석가를 위한 AI