検証フェーズ:データ品質

データアナリストのための AI

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

よくある原因

data_quality_issues1.jpg

データアナリストのための AI

AIが解決する難しい課題

data_quality_issues2.jpg

データアナリストのための AI

あいまいな重複

 

  • 従来型:ルールを手作業で作成し、永遠にメンテナンスが必要
  • AI:マッチングロジックを記述し、意味的理解をもたらす

 

  • 出力 → 読んで調整できるクエリやグルーピング

fuzzy_duplicates.png

データアナリストのための AI

時系列の矛盾

time_order.jpg

  • 従来型:タイムスタンプを比較する SQL を記述
  • AI:起きてはいけないことを説明するだけ → AI がクエリを記述
データアナリストのための AI

論理的な矛盾

logical_inconsistencies.jpg

 

  • 従来型:参照テーブルが必要 — 誰かがメンテナンスしなければならない
  • AI世界知識を活用し、参照データ不要
データアナリストのための AI

AIの作業を検証する

 

  • AI は魔法ではありません — クエリやコード、ルールを生成しているだけです
  • その結果は誤っていることもあります:不適切な正規表現、ハルシネーション(事実と異なる出力)によるビジネスルールなど

ai_interrogation.jpg

データアナリストのための AI

問題を修正する

clean_data1.jpg

clean_data2.jpg

データアナリストのための AI

練習しましょう!

データアナリストのための AI

Preparing Video For Download...