Всередині набору активів

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Структура проєкту бандла

my_project/
|-- databricks.yml
|-- src/
|   |-- etl_pipeline.py
|   |-- data_quality.py
|-- resources/
|   |-- jobs/
|   |   |-- nightly_etl.yml
|   |-- pipelines/
|       |-- sales_pipeline.yml
|-- tests/
    |-- test_etl.py

databricks.yml — центральний конфіг
src/ — ваші ноутбуки й код
resources/ — визначення jobs і pipelines
tests/ — необов'язкові тестові файли

Файл databricks.yml

bundle:
  name: sales_analytics

workspace:
  host: https://myworkspace.databricks.com

targets:
  dev:
    default: true
    workspace:
      root_path: /Users/me/dev
  production:
    workspace:
      root_path: /Shared/production
    permissions:
      - level: CAN_MANAGE
        group_name: data_engineers

Визначення ресурсів

шари: databricks.yml (угорі), Resources - Jobs - Pipelines - Dashboards, Code - Notebooks - Python scripts, Targets - dev - staging - production

resources:
  jobs:
    nightly_etl:
      name: "Nightly ETL Pipeline"
      schedule:
        quartz_cron: "0 0 2 * * ?"
      tasks:
        - task_key: ingest
          notebook_task:
            notebook_path: src/etl.py

Команди Bundle CLI

Команда	Призначення
`bundle validate`	Перевіряє конфіг на помилки
`bundle deploy`	Розгортає в цільовому середовищі
`bundle run`	Запускає розгорнуте job
`bundle destroy`	Видаляє розгорнуті ресурси

# Перевірте перед розгортанням
databricks bundle validate

# Розгортання у production
databricks bundle deploy \
  --target production

# Запуск job
databricks bundle run nightly_etl

Процес розгортання

блок-схема: Процес розгортання

Локальна розробка — редагуйте код і перевіряйте конфіги
Контроль версій — фіксуйте зміни в Git
CI/CD-автоматизація — розгортайте в staging і запускайте тести
Виведення в продакшен — розгортайте впевнено

Підсумок

databricks.yml описує ваш проєкт, цілі та ресурси
Ресурси включають jobs, pipelines і dashboards
Цілі відповідають середовищам (dev, staging, production)
Команди CLI: validate, deploy, run, destroy

Давайте потренуємось!

Вступ до Databricks Lakehouse