Do deployment manual ao automatizado

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

O problema do deployment manual

Configurar jobs pela UI, um de cada vez
Copiar notebooks para pastas de produção manualmente
As configurações divergem entre staging e produção
Sem como reproduzir um deployment do zero

recraft: half: Uma pessoa em uma mesa bagunçada com post-its e papéis desencontrados, representando o caos dos processos de deployment manual

Por que isso importa em escala

Um projeto típico tem jobs, pipelines, clusters, permissões e agendas
Cada um configurado separadamente na UI
Um membro sai — o conhecimento de configuração vai junto
Uma auditoria pergunta "o que mudou no mês passado?" — sem resposta clara

recraft: half: Um quadro branco de escritório coberto por diagramas confusos, anotações riscadas e pontos de interrogação, representando a perda de conhecimento institucional e o caos de configuração

O que são Databricks Asset Bundles?

radial: Databricks Asset Bundles

Tudo em uma pasta do projeto, versionado no Git, deploy com um único comando CLI

Vantagens do DAB

Reprodutível — aplica a mesma config sempre
Com controle de versão — mudanças rastreadas no Git
Promoção entre ambientes — dev → staging → prod
Integração com CI/CD — automatiza deploys em pipelines

recraft: half: Uma linha de montagem produzindo caixas idênticas em uma esteira, representando deployment automatizado e reprodutível

Tradicional vs. DAB

	Tradicional	DAB
Configuração	Cliques na UI	Arquivos YAML no Git
Reprodutibilidade	Manual, sujeito a erros	Automatizada, consistente
Promoção de ambiente	Copiar e reconfigurar	`bundle deploy --target prod`
Rollback	Recriar de memória	`git revert` + redeploy
Colaboração	Uma pessoa por vez	Workflow completo com Git

Resumo

Deployment manual via UI é frágil e não escala
Databricks Asset Bundles descrevem seu projeto em YAML
Benefícios: reprodutibilidade, controle de versão, CI/CD, promoção de ambientes
Tudo vive no Git — uma única fonte de verdade para seu deployment

Vamos praticar!

Introdução ao Databricks Lakehouse