Veri dönüştürme

Databricks SQL'e Giriş

Kevin Barlow

Data Manager

Motivasyon

Lakehouse Akışı - Alım

Lakehouse’ta dönüşüm

Lakeflow Diyagramı - Dönüştürme

Veriyi temizleme ve dönüştürme

Bronze (ham) katmandaki veriyi temizleyip Silver (analize hazır) katmana aktarma
İleri aşamadaki tablolar için kritik adım
Yaygın işlemler
- NULL değerleri kaldırma
- Değerleri standartlaştırma
- Veri türlerini ayarlama

CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)

Veriyi toplulaştırma

Silver katmandan veriyi birleştirip sadeleştirerek Gold (BI’ye hazır) katmana alma
Belirli bir iş zekâsı ihtiyacı için tasarlanır
- Görünümler için ideal aday
Yaygın işlemler
- Gereksiz sütunları kaldırma
- Boyutlar arasında toplama
- Metrik/KPI hesaplama

CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)

Görevleri otomatikleştirme

İş akışları GIF’i

Haydi pratik yapalım!

Databricks SQL'e Giriş