Chuyển đổi dữ liệu

Nhập môn Databricks SQL

Kevin Barlow

Data Manager

Động lực

Luồng Lakehouse - Nạp dữ liệu

Nhập môn Databricks SQL

Chuyển đổi trong lakehouse

Sơ đồ luồng - Chuyển đổi

Nhập môn Databricks SQL

Làm sạch và chuyển đổi dữ liệu

  • Làm sạch dữ liệu từ lớp Bronze (thô) sang lớp Silver (sẵn sàng phân tích)
  • Bước quan trọng cho các bảng downstream
  • Hoạt động phổ biến
    • Loại bỏ giá trị NULL
    • Chuẩn hóa giá trị
    • Điều chỉnh kiểu dữ liệu
CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)
Nhập môn Databricks SQL

Tổng hợp dữ liệu

  • Kết hợp và đơn giản hóa dữ liệu từ lớp Silver sang lớp Gold (sẵn sàng cho BI)
  • Phục vụ nhu cầu BI cụ thể
    • Rất phù hợp cho view
  • Hoạt động phổ biến
    • Loại bỏ cột thừa
    • Gộp theo nhiều chiều
    • Tính chỉ số / KPI
CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)
Nhập môn Databricks SQL

Tự động hóa tác vụ

GIF quy trình công việc

Nhập môn Databricks SQL

Ayo berlatih!

Nhập môn Databricks SQL

Preparing Video For Download...