ベンチマークと継続的改善

Databricks Genie 入門

Gang Wang

Senior Data Scientist

ベンチマークとは

ゴールドスタンダードの質問と回答

• 精度を算出します

ベンチマークの実行頻度

• ゴールドスタンダードの質問を10〜20件用意し、単純な集計から複雑な信頼済みKPIまでをカバーします
• 開発中は毎日、またはキュレーションに大きな変更を加えるたびに実行します
• スキーマ変更後は、新しいテーブルや列を追加した直後にフルスイートを実行します
• 本番環境では週次または月次のヘルスチェックとして実行します

結果の解釈

• 合格率は全体スコアの目安になります
• 本当の価値は失敗の分析にあります
• 「都市別の総売上」は合格するのに「自治体別の総収益」は不合格？
• それはGenieにシノニムが必要なサインです。ロジックの変更ではありません
• 期待するSQLと生成されたSQLを比較してギャップを特定しましょう

修正の優先順位付け

• ベンチマーク結果から失敗のパターンを特定します
• 結果からキュレーションメニューに移動し、シノニムや例を追加します
• 頻度とビジネスへの影響を基準に優先順位を付けます
• 頻度が高く影響の大きい失敗から優先的に修正します

継続的改善サイクル

$$

ステップ1：作成 ゴールドスタンダードの質問からテストスイートを作成します。

継続的改善サイクル

$$

ステップ2：実行 結果を解釈します。何が、なぜ失敗したかを確認しましょう。

継続的改善サイクル

$$

ステップ3：優先順位付け シノニム、リレーションシップ、またはSQLの例を使って修正をキュレーションします。

継続的改善サイクル

$$

ステップ4：検証 ベンチマークを再実行して改善を確認します。デプロイ前に精度が向上していることを確かめましょう。

組織全体への展開

• Unity Catalogでデータとアクセス権限を一元管理します
• 全社共通のKPIには信頼済みアセットを使用します
• 編集者アクセスは訓練済みのデータスチュワードに限定します
• いいね／よくないねフィードバックを必須にします
• 定期的なベンチマークを実施して精度の劣化を検知します

練習しましょう！

Databricks Genie 入門