Поздравляем!

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Глава 1: Парадигма лейкхаус

$$

  • Лейкхаус сочетает гибкость озера данных с надёжностью хранилища
  • Медальонная архитектура упорядочивает данные: бронза → серебро → золото
  • Плоскость управления — на стороне Databricks; плоскость данных — в вашем облаке

$$

recraft: half: Современное здание со стеклянным фасадом, отражающим одновременно склад и озеро — символ архитектуры лейкхаус

Введение в Databricks Lakehouse

Глава 2: Вычисления и ноутбуки

$$

recraft: half: Группа взаимосвязанных серверов со светящимися узлами и открытый ноутбук перед ними — символ вычислительных ресурсов и интерактивной разработки

$$

  • Многоцелевые кластеры — для интерактивной работы; кластеры заданий — для автоматизации
  • Автомасштабирование, автоотключение и политики помогают контролировать расходы
  • Ноутбуки поддерживают несколько языков с помощью magic-команд
  • Databricks Repos обеспечивает полную интеграцию с Git в рабочей области
Введение в Databricks Lakehouse

Глава 3: Управление данными и их совместное использование

$$

  • Unity Catalog обеспечивает централизованное управление и автоматическое отслеживание происхождения данных
  • Delta Sharing предоставляет внешним партнёрам доступ к актуальным данным без копирования
  • Нативный обмен — для Databricks-to-Databricks; открытый протокол — для любой платформы
  • Lakehouse Federation запрашивает внешние базы данных без переноса данных

$$

recraft: half: Щит с замком в центре, окружённый потоками данных, соединяющимися с различными зданиями — символ управления данными и безопасного обмена

Введение в Databricks Lakehouse

Глава 4: Развёртывание

$$

recraft: half: Ракета, стартующая с экрана ноутбука, с пайплайнами развёртывания и потоками кода — символ автоматизированного вывода в продакшн

$$

  • Databricks Asset Bundles заменяют ручное развёртывание через UI на код
  • databricks.yml описывает проект, ресурсы и целевые среды
  • Команды CLI: validate, deploy, run, destroy
  • Всё хранится в Git — воспроизводимо, прозрачно и автоматизировано
Введение в Databricks Lakehouse

Что изучать дальше

$$

  • Introduction to Databricks SQL — SQL-аналитика и хранилища данных
  • Data Engineering with Databricks — ETL-пайплайны для продакшна
  • Databricks Concepts — сквозные рабочие процессы для разных ролей

$$

recraft: half: Извилистая дорога, уходящая вдаль через красочный пейзаж с указателями — символ дальнейшего пути в обучении

Введение в Databricks Lakehouse

Спасибо!

Введение в Databricks Lakehouse

Preparing Video For Download...