검증 가능성과 신뢰

데이터 분석가를 위한 AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

아슬아슬한 순간...

아슬아슬한 순간...

AI는 자신감을 드러냅니다

 

• 잘못된 결과도 올바른 결과만큼 그럴듯해 보입니다
• "여기서 제가 틀렸을 수도 있어요"라는 신호는 없습니다
• 확인하지 않으면 오류를 내보내는 사람은 바로 _당신_입니다

검증은 같은 작업을 반복하는 게 아닙니다

 

• 잘못된 본능: BI 도구에서 작업을 다시 하기
• AI 결과물을 빠른 주니어 분석가처럼 대하세요 — 강력하지만 무조건 믿을 수는 없습니다
• 당신의 역할: 다시 하는 게 아니라 철저히 검증하는 것

검증 워크플로

검증 워크플로

 

1. 특정 데이터 포인트를 선택하세요
2. 원본 데이터를 수동으로 필터링해 해당 포인트를 찾으세요
3. 그 포인트의 계산을 검증하세요

검증 워크플로

 

1. AI의 코드나 결과물을 복사하세요
2. 다른 어시스턴트나 대화에 붙여넣기하세요
3. 논리적 오류를 찾아달라고 요청하세요

검증 워크플로

 

1. 비즈니스 관점에서 타당성을 점검하세요
2. 이 인사이트가 경험과 일치하는지 질문하세요

검증 워크플로

 

1. AI에게 널 값, 중복값, 0과 같은 엣지 케이스로 자신의 코드를 직접 실행해 보라고 요청하세요

위험 수준에 맞춰 검증 강도를 조절하세요

• 탐색적 작업이나 일회성 작업 → 가볍게 적용
• 프로덕션 대시보드, 이사회 발표 등 → 철저하게 적용

인간의 개입이 핵심 업무입니다

AI의 아첨 성향

 

• AI는 사용자에게 동의하는 경향이 있습니다
• 힌트를 주거나, 반박하거나, 가설을 암시하면 → AI는 그 신호를 따라갑니다
• 프롬프트 측 대응: 중립적인 표현을 사용하세요
• 검증 측 대응: 원하던 결과를 확인해 주는 결과일수록 더 엄격하게 검토하세요

연습해 봅시다!

데이터 분석가를 위한 AI