エンタープライズの信頼性

ケーススタディ：Databricks Genie を使った販売分析

Stan Konkin

ML Content Developer, DataCamp

機能するから信頼されるへ

信頼性シールドが表示されたセールスフロア全体で使用されている Genie スペースと、それをレビューする VP の人物、DataCamp ネイビーとグリーンのスタイル

スペースが営業部門全体で利用されるようになりました
VP は本格展開前に信頼性を求めています
新しいテーブルは不要、強化のみ

信頼性はループで高める

レビュー、診断、改善、検証の4ステップサイクルをきれいなループ矢印で表した図、DataCamp ネイビーとグリーンのスタイル

会話と評価をレビューする
問題の原因を診断する
適切な手段を改善する
チャットで修正を検証する

Monitor で診断を始めましょう

$$ SCREENSHOT: The Genie Monitor tab showing a list of conversations with thumbs-up and thumbs-down ratings, filtered to the thumbs-down ones

$$

$$

Monitor タブに実際の会話が記録されます
低評価の回答をフィルタリングします
生成された SQL をそれぞれ確認します

2つの障害、2つの原因

2つのアイコン、一方は数値が変動することを示す疑問符、もう一方は定義が未設定であることを示す打ち消し線付きの定義

月次トレンドのばらつき → 計算式が曖昧
「Premium」 が未定義 → Genie が推測
障害の種類が違えば、対処法も違います

修正1、トレンドを固定する

月次折れ線グラフが緑の南京錠で固定され、変動が止まっている様子、DataCamp ネイビーとグリーンのスタイル

曖昧な計算式 → SQL の例で固定
Genie が同じ計算をそのまま再利用
毎回同じトレンドが得られます

修正2、用語を定義する

ビジネス用語の意味を確定させるための明確なルールが指示リストに追加されている様子、DataCamp ネイビーとグリーンのスタイル

定義の欠如 → テキスト指示を追加
用語を一度、正確に定義します
Premium に関するすべての質問に適用されます

長期的な信頼性を維持する

$$

$$

SCREENSHOT: The Genie Benchmark tab listing fixed questions each paired with a ground-truth SQL answer

$$

$$

質問と正解の SQL をペアで登録します
変更後は毎回再実行します
リーダーシップより先に回帰を検出できます

本番環境に対応したスペースとは

緑のチェックマークが表示された中央ダッシュボードと、ベンチマーク、明確な定義、モニター、固定された計算式のラベル付きアイコン

計算式を固定し、用語を明確に定義
モニタリングとベンチマークを実施
これがスペースへの信頼を築く方法です

練習しましょう！

ケーススタディ：Databricks Genie を使った販売分析

Preparing Video For Download...