データの変換

Databricks SQL 入門

Kevin Barlow

Data Manager

背景

Lakehouse フロー - 取り込み

レイクハウスでの変換

Lakeflow 図 - 変換

データのクリーニングと変換

Bronze（生データ）層のデータをクリーニングし、Silver（分析可能）層に変換します
下流のデータテーブルにとって重要なステップです
一般的な作業
- NULL 値の削除
- 値の標準化
- データ型の調整

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

データの集計

Silver 層のデータを結合・簡素化し、Gold（BI 対応）層に変換します
特定のビジネスインテリジェンスのニーズに対応します
- ビューとして最適です
一般的な作業
- 不要な列の削除
- ディメンションをまたいだ集計
- メトリクス／KPI の計算

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

タスクの自動化

ワークフロー GIF

練習しましょう！

Databricks SQL 入門