検証可能性と信頼

データアナリストのための AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

際どいミス...

際どいミス...

AIは自信ありげに見えます

 

• 誤った出力も正しい出力と同じくらい洗練されて見えます
• 「もしかしたら間違っているかもしれない」と示す視覚的なサインはありません
• 確認しなければ、エラーを世に出すのはあなたです

検証とは二度手間ではありません

 

• 誤った直感：BI ツールで作業をやり直すこと
• AI の出力は仕事の速い若手アナリストのように扱いましょう—強力ですが、本質的に信頼できるわけではありません
• あなたの仕事：やり直すことではなく、徹底的に検証することです

検証のワークフロー

検証のワークフロー

 

1. 選ぶ：特定のデータポイント
2. 絞り込む：生データを手動でそのポイントまで
3. 検証する：そのポイントの計算

検証のワークフロー

 

1. コピーする：AI のコードや出力
2. 貼り付ける：別のアシスタントや会話に
3. 依頼する：論理の欠陥を見つけるよう

検証のワークフロー

 

1. 実行する：ビジネス感覚での妥当性チェック
2. 問う：このインサイトは経験と一致しているか

検証のワークフロー

 

1. 依頼する：AI 自身のコードをエッジケース（null 値、重複、ゼロ）に対して実行するよう

厳密さは重要度に合わせる

• 探索的またはその場限りの作業 → 軽めの適用
• 本番ダッシュボードや役員会向け資料など → 重めの適用

人による確認が仕事です

AIの迎合性

 

• AI はあなたに同意しがちです
• ヒントを与えたり、反論したり、仮説をほのめかしたりすると → AI はその合図に従います
• プロンプト側の対策： 中立的な言葉遣いを保つ
• 検証側の対策： 望んでいた結果を裏付ける発見にこそ、最も厳しく向き合う

練習しましょう！

データアナリストのための AI