От ручного развёртывания к автоматизированному

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Проблема ручного развёртывания

Настройка заданий через UI — по одному за раз
Копирование ноутбуков в рабочие папки вручную
Настройки расходятся между staging и production
Нет возможности воспроизвести развёртывание с нуля

recraft: half: Человек за заваленным стикерами и разрозненными бумагами столом — символ хаоса при ручном развёртывании

Почему это важно в масштабе

Типичный проект включает задания, пайплайны, кластеры, права доступа и расписания
Каждый элемент настраивается отдельно в UI
Сотрудник уходит — знания о конфигурации уходят вместе с ним
Аудит спрашивает: «что изменилось в прошлом месяце?» — ответа нет

recraft: half: Офисная доска с запутанными схемами, перечёркнутыми заметками и вопросительными знаками — символ утраченных знаний и хаоса в конфигурациях

Что такое Databricks Asset Bundles?

radial: Databricks Asset Bundles

Всё хранится в папке проекта, версионируется в Git и разворачивается одной командой CLI

Преимущества DAB

Воспроизводимость — одинаковая конфигурация при каждом развёртывании
Контроль версий — изменения отслеживаются в Git
Продвижение по средам — dev → staging → prod
Интеграция с CI/CD — автоматизация развёртываний в пайплайнах

recraft: half: Заводской конвейер с одинаковыми коробками — символ воспроизводимого автоматизированного развёртывания

Традиционный подход vs. DAB

	Традиционный подход	DAB
Конфигурация	Клики в UI	YAML-файлы в Git
Воспроизводимость	Вручную, с ошибками	Автоматически, стабильно
Продвижение по средам	Копировать и перенастраивать	`bundle deploy --target prod`
Откат	Воссоздать по памяти	`git revert` + повторное развёртывание
Совместная работа	По одному человеку	Полноценный Git-воркфлоу

Итоги

Ручное развёртывание через UI ненадёжно и не масштабируется
Databricks Asset Bundles описывают проект в YAML
Преимущества: воспроизводимость, контроль версий, CI/CD, продвижение по средам
Всё хранится в Git — единый источник истины для развёртывания

Давайте потренируемся!

Введение в Databricks Lakehouse