एसेट बंडल के अंदर

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

बंडल प्रोजेक्ट संरचना

my_project/
|-- databricks.yml
|-- src/
|   |-- etl_pipeline.py
|   |-- data_quality.py
|-- resources/
|   |-- jobs/
|   |   |-- nightly_etl.yml
|   |-- pipelines/
|       |-- sales_pipeline.yml
|-- tests/
    |-- test_etl.py

databricks.yml - केंद्रीय कॉन्फ़िग फ़ाइल
src/ - आपके notebooks और code
resources/ - job और pipeline परिभाषाएँ
tests/ - वैकल्पिक test फ़ाइलें

`databricks.yml` फ़ाइल

bundle:
  name: sales_analytics

workspace:
  host: https://myworkspace.databricks.com

targets:
  dev:
    default: true
    workspace:
      root_path: /Users/me/dev
  production:
    workspace:
      root_path: /Shared/production
    permissions:
      - level: CAN_MANAGE
        group_name: data_engineers

रिसोर्सेज़ परिभाषित करना

लेयर्स: databricks.yml (ऊपर), Resources - Jobs - Pipelines - Dashboards, Code - Notebooks - Python scripts, Targets - dev - staging - production

resources:
  jobs:
    nightly_etl:
      name: "Nightly ETL Pipeline"
      schedule:
        quartz_cron: "0 0 2 * * ?"
      tasks:
        - task_key: ingest
          notebook_task:
            notebook_path: src/etl.py

बंडल CLI कमांड्स

Command	Purpose
`bundle validate`	कॉन्फ़िग में त्रुटि जाँचें
`bundle deploy`	किसी target पर डिप्लॉय करें
`bundle run`	डिप्लॉय किए job को ट्रिगर करें
`bundle destroy`	डिप्लॉय किए रिसोर्स हटाएँ

# डिप्लॉय से पहले वैलिडेट करें
databricks bundle validate

# production पर डिप्लॉय करें
databricks bundle deploy \
  --target production

# रन ट्रिगर करें
databricks bundle run nightly_etl

डिप्लॉयमेंट वर्कफ़्लो

फ्लोचार्ट: डिप्लॉयमेंट वर्कफ़्लो

लोकल डेवलपमेंट - कोड एडिट करें और कॉन्फ़िग वैलिडेट करें
वर्ज़न कंट्रोल - बदलाव Git में कमिट करें
CI/CD ऑटोमेशन - स्टेजिंग पर डिप्लॉय करें और टेस्ट चलाएँ
प्रोडक्शन प्रमोशन - भरोसे के साथ डिप्लॉय करें

सारांश

databricks.yml आपका प्रोजेक्ट, targets, और resources परिभाषित करता है
Resources में jobs, pipelines, और dashboards शामिल हैं
Targets envs से मैप होते हैं (dev, staging, production)
CLI कमांड्स: validate, deploy, run, destroy

अभ्यास करते हैं!

Databricks Lakehouse परिचय