Dentro de un paquete de recursos

Introducción a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Estructura del proyecto del bundle

my_project/
|-- databricks.yml
|-- src/
|   |-- etl_pipeline.py
|   |-- data_quality.py
|-- resources/
|   |-- jobs/
|   |   |-- nightly_etl.yml
|   |-- pipelines/
|       |-- sales_pipeline.yml
|-- tests/
    |-- test_etl.py

databricks.yml - config central
src/ - tus notebooks y código
resources/ - definiciones de jobs y pipelines
tests/ - tests opcionales

El archivo databricks.yml

bundle:
  name: sales_analytics

workspace:
  host: https://myworkspace.databricks.com

targets:
  dev:
    default: true
    workspace:
      root_path: /Users/me/dev
  production:
    workspace:
      root_path: /Shared/production
    permissions:
      - level: CAN_MANAGE
        group_name: data_engineers

Definir recursos

capas: databricks.yml (arriba), Resources - Jobs - Pipelines - Dashboards, Code - Notebooks - Python scripts, Targets - dev - staging - production

resources:
  jobs:
    nightly_etl:
      name: "Nightly ETL Pipeline"
      schedule:
        quartz_cron: "0 0 2 * * ?"
      tasks:
        - task_key: ingest
          notebook_task:
            notebook_path: src/etl.py

Comandos de la CLI de bundles

Comando	Propósito
`bundle validate`	Comprobar errores de configuración
`bundle deploy`	Desplegar a un destino
`bundle run`	Lanzar un job desplegado
`bundle destroy`	Eliminar recursos desplegados

# Valida antes de desplegar
databricks bundle validate

# Despliega a producción
databricks bundle deploy \
  --target production

# Lanza una ejecución
databricks bundle run nightly_etl

Flujo de despliegue

diagrama de flujo: Flujo de despliegue

Desarrollo local - edita código y valida configs
Control de versiones - haz commit en Git
Automatización CI/CD - despliega a staging y ejecuta tests
Promoción a producción - despliega con confianza

Resumen

databricks.yml define tu proyecto, destinos y recursos
Recursos: jobs, pipelines y dashboards
Destinos se corresponden con entornos (dev, staging, production)
Comandos de la CLI: validate, deploy, run, destroy

¡Vamos a practicar!

Introducción a Databricks Lakehouse