Вітаємо!

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Розділ 1: Парадигма Lakehouse

recraft: half: Сучасна будівля зі скляним фасадом, що відбиває і склад, і озеро — візуалізація lakehouse, який об'єднує два підходи

recraft: half: Кластер з'єднаних серверів із підсвіченими вузлами та відкритим ноутбуком попереду — обчислювальні ресурси й інтерактивна розробка

All-purpose clusters для інтерактивної роботи; jobs clusters для автоматизації
Autoscaling, auto-termination і policies допомагають контролювати витрати
Notebooks підтримують кілька мов із magic-командами
Databricks Repos дає повну інтеграцію з Git у робочому просторі

Unity Catalog забезпечує централізоване управління та автоматичне відстеження lineage
Delta Sharing дає партнерам живий доступ до даних — без копій
Native обмін для Databricks-to-Databricks; open protocol для будь-якої платформи
Lakehouse Federation робить запити до зовнішніх БД без переміщення даних

recraft: half: Щит із замком у центрі, довкола — потоки даних, що з'єднують різні будівлі: керування та безпечний обмін даними

recraft: half: Ракета стартує з екрана ноутбука; конвеєри розгортання й код спрямовані вгору — автоматизоване розгортання в продакшн

Databricks Asset Bundles замінюють ручне розгортання через UI на підхід «як код»
databricks.yml описує ваш проєкт, ресурси та цілі
Команди CLI: validate, deploy, run, destroy
Усе зберігається в Git — відтворювано, аудиторно, автоматизовано

recraft: half: Звивиста дорога вдалину через яскравий краєвид із вказівниками вздовж маршруту — подальший шлях навчання

Вступ до Databricks Lakehouse