Genieの仕組み

Databricks Genie 入門

Gang Wang

Senior Data Scientist

複合AIシステムとしてのGenie

nanobanana: half: 3つのチームメンバーが協力している様子。LLMを表すBrainキャラクター、Unity Catalogを表すMapキャラクター、SQL Warehouseを表すMuscleキャラクターが、一体となったシステムとして連携している

$$

チームとして連携する：

  • Brain（LLM） - 自然言語を理解する
  • Map（Unity Catalog） - データの場所を把握する
  • Muscle（SQL Warehouse） - 実際の処理を担う
Databricks Genie 入門

Unity Catalogとの連携

$$

hierarchy: Unity Catalog, Schema, Tables, Columns

$$

データチームが提供するもの：

  • テーブルの説明 - 格納されているデータの内容
  • カラムのコメント - 各フィールドの意味
  • リレーションシップ - テーブル間の関係
Databricks Genie 入門

Genieが質問を処理する流れ

Pipeline step 1: Analyze

ステップ1：分析 - 自然言語を解析し、意図を理解します。キーワードだけでなく、本当に知りたいことを把握します。

Databricks Genie 入門

Genieが質問を処理する流れ

Pipeline step 2: Analyze and Lookup

ステップ2：検索 - Unity Catalogから関連するテーブルとカラムを検索し、質問に答えられるデータソースを特定します。

Databricks Genie 入門

Genieが質問を処理する流れ

Pipeline step 3: Analyze, Lookup, and Generate

ステップ3：生成 - 適切なJOIN、フィルター、集計を含むSQLを生成します。

Databricks Genie 入門

Genieが質問を処理する流れ

Pipeline step 4: Full pipeline

ステップ4：実行 - SQLをデータウェアハウスに対して実行し、結果をテーブルやビジュアライゼーションとして表示します。

質問 → 約2秒で回答

Databricks Genie 入門

Genieが確認を求める場合

$$

nanobanana: full: ユーザーが曖昧な質問を送り、AIアシスタントが複数の解釈候補を提示して確認を求めている会話インターフェース

$$

Genieは「断言するより正確さを優先」します

  • 確認が必要なのはビジネス上の選択が伴う場合のみです

  • 例：「Sales」と入力すると、Gross_Sales と Net_Sales の両方が見つかった場合、Genieは推測しません

これは制限ではなく、機能です！

Databricks Genie 入門

Demo: BakehouseにおけるGenieの確認プロンプト

Databricks Genie 入門

練習しましょう！

Databricks Genie 入門

Preparing Video For Download...