Ghép lại mọi thứ

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Kịch bản

Bạn là kỹ sư dữ liệu bắt đầu dự án mới tại một công ty bán lẻ
Mục tiêu: thiết lập compute, xác minh pipeline dữ liệu, kiểm tra quản trị, và chuẩn bị triển khai

recraft: half: Một kỹ sư dữ liệu ngồi tại bàn làm việc hiện đại với laptop hiển thị giao diện kiểu Databricks, có sơ đồ pipeline trên bảng trắng phía sau, minh họa việc onboard vào dự án dữ liệu mới

Bước 1: Chọn compute phù hợp

Pipeline chạy theo lịch mỗi đêm
Không cần phát triển tương tác
Jobs cluster với LTS runtime là lựa chọn phù hợp
Bật autoscaling (2–6 worker) cho khối lượng dữ liệu biến động

	All-Purpose	Jobs Cluster
Chế độ	Tương tác	Tự động
Quản lý	Thủ công	Tự kết thúc
Chi phí	Cao hơn (thời gian rảnh)	Tối ưu chi phí

Bước 2: Xác minh pipeline medallion

SELECT COUNT(*) FROM bronze_sales;
-- 1,247,832 rows

SELECT COUNT(*) FROM silver_sales;
-- 1,189,456 rows (nulls removed)

SELECT COUNT(*) FROM gold_daily_revenue;
-- 365 rows (daily aggregates)

Bronze: dữ liệu thô, số dòng lớn nhất
Silver: đã làm sạch, loại null và trùng lặp
Gold: tổng hợp cho báo cáo kinh doanh
Số dòng giảm khi chất lượng tăng

Bước 3: Kiểm tra quản trị

Vào Unity Catalog và kiểm tra bảng gold_daily_revenue
Lần theo lineage ngược lên để xác nhận đọc từ silver_sales
Xác minh kiểm soát truy cập - chỉ đội analytics có quyền SELECT trên gold
Xác nhận Delta Sharing được cấu hình cho đối tác bên ngoài

recraft: half: Kính lúp phóng to trên đồ thị lineage dữ liệu với các nút bảng được nối với dấu kiểm, minh họa việc xác minh quản trị

Bước 4: Chuẩn bị triển khai

Rà soát databricks.yml Asset Bundle
Xác nhận đã định nghĩa tài nguyên job chạy đêm
Kiểm tra mục tiêu production trỏ đúng đường dẫn workspace
Chạy bundle validate trước khi triển khai

targets:
  production:
    workspace:
      root_path: /Shared/production
resources:
  jobs:
    nightly_sales_etl:
      schedule:
        quartz_cron: "0 0 3 * * ?"

Tổng kết

Compute: chọn loại cluster phù hợp khối lượng (jobs cluster cho tự động hóa)
Dữ liệu: xác minh luồng đúng qua các lớp medallion
Quản trị: lần lineage, kiểm tra quyền, xác nhận chia sẻ
Triển khai: rà soát Asset Bundle, validate, deploy

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse