Bên trong một asset bundle

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Cấu trúc dự án bundle

$$

my_project/
|-- databricks.yml
|-- src/
|   |-- etl_pipeline.py
|   |-- data_quality.py
|-- resources/
|   |-- jobs/
|   |   |-- nightly_etl.yml
|   |-- pipelines/
|       |-- sales_pipeline.yml
|-- tests/
    |-- test_etl.py

$$

  • databricks.yml - file cấu hình trung tâm
  • src/ - notebook và mã nguồn của bạn
  • resources/ - định nghĩa job và pipeline
  • tests/ - file kiểm thử (tùy chọn)
Giới thiệu về Databricks Lakehouse

Tệp databricks.yml

bundle:
  name: sales_analytics

workspace:
  host: https://myworkspace.databricks.com

targets:
  dev:
    default: true
    workspace:
      root_path: /Users/me/dev
  production:
    workspace:
      root_path: /Shared/production
    permissions:
      - level: CAN_MANAGE
        group_name: data_engineers
Giới thiệu về Databricks Lakehouse

Định nghĩa resources

$$

các lớp: databricks.yml (trên cùng), Resources - Jobs - Pipelines - Dashboards, Code - Notebooks - Python scripts, Targets - dev - staging - production

$$

resources:
  jobs:
    nightly_etl:
      name: "Nightly ETL Pipeline"
      schedule:
        quartz_cron: "0 0 2 * * ?"
      tasks:
        - task_key: ingest
          notebook_task:
            notebook_path: src/etl.py
Giới thiệu về Databricks Lakehouse

Các lệnh CLI của bundle

$$

Lệnh Mục đích
bundle validate Kiểm tra lỗi cấu hình
bundle deploy Triển khai đến một target
bundle run Kích hoạt job đã triển khai
bundle destroy Xóa resources đã triển khai

$$

# Kiểm tra trước khi triển khai
databricks bundle validate

# Triển khai lên production
databricks bundle deploy \
  --target production

# Kích hoạt một lượt chạy
databricks bundle run nightly_etl
Giới thiệu về Databricks Lakehouse

Quy trình triển khai

lưu đồ: Quy trình triển khai

$$

  • Phát triển cục bộ - chỉnh sửa mã và xác thực cấu hình
  • Quản lý phiên bản - commit thay đổi lên Git
  • Tự động hóa CI/CD - triển khai lên staging và chạy kiểm thử
  • Đưa lên production - triển khai tự tin
Giới thiệu về Databricks Lakehouse

Tóm tắt

$$

  • databricks.yml định nghĩa dự án, target và resources
  • Resources gồm jobs, pipelines và dashboards
  • Targets ánh xạ sang môi trường (dev, staging, production)
  • Lệnh CLI: validate, deploy, run, destroy
Giới thiệu về Databricks Lakehouse

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse

Preparing Video For Download...