Databricks SQL の主要な構成要素

Databricks SQL 入門

Kevin Barlow

Data Manager

わかりやすい例え

木は多くの異なる部品から構成され、それらすべてが1つの全体を作り上げています

Tree System GIF

Databricks SQL では、さまざまな構成要素が組み合わさってデータウェアハウスソリューションを形成します

Databricks SQL Assets

クエリ

Databricks SQL における分析の基本「単位」
コンピュートに対して SQL コードを実行
ANSI SQL 標準を使用
処理対象のデータ:
- Unity Catalog
- Delta テーブル
- データレイクファイル
- データストリーム

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL Warehouse

SQL 専用のコンピュートクラスタ
最適化機能（例: Photon）
シンプルな管理
容易なスケーリング
クエリと BI ツール

SQL Warehouse GIF

テーブル対ビュー

テーブル

データセットの物理的な実体
Delta 形式で記述
データパイプラインの外部からも読み取り・アクセス可能
データレイアウトを最適化可能（パーティショニングなど）

Table in Object Storage

テーブル対ビュー

ビュー

Unity Catalog におけるクエリ結果の仮想的な表現
データ読み取りの高速なパフォーマンス
後続クエリの簡素化に最適
- 元のクエリに多数の結合やフィルタなどが含まれる場合
増分データ処理も利用可能

View Diagram

可視化とダッシュボード

可視化

クエリ結果を視覚的に表現
単一のクエリに対して作成

Configuring Visualizations

ダッシュボード

複数の可視化をまとめたもの
複数のデータセット、クエリ結果にまたがる

Sample dashboard

練習しましょう！

Databricks SQL 入門