Архитектура платформы

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Аналогия с отелем

$$

Плоскость управления — «Стойка регистрации»

recraft: half: A modern hotel front desk with a concierge managing bookings on screens, representing Databricks managing coordination and scheduling

  • Управляется Databricks
  • Обеспечивает координацию и обработку запросов

$$

Плоскость данных — «Ваш гостиничный номер»

recraft: half: A secure private hotel room with a personal safe and workspace desk, representing the customer cloud account where data lives and compute runs

  • Размещается в вашем облачном аккаунте
  • Здесь хранятся ваши данные и работают вычисления
Введение в Databricks Lakehouse

Плоскость управления

$$

  • Управляется Databricks
  • Интерфейс рабочего пространства и ноутбуки
  • Планирование и оркестрация заданий
  • Управление кластерами и их настройка

$$

recraft: half: A modern reception desk with organized monitors showing dashboards and scheduling boards, representing a control center

Введение в Databricks Lakehouse

Плоскость данных

$$

recraft: half: A secure vault room with server racks and locked storage containers, representing customer-owned cloud infrastructure

$$

  • Размещается в вашем облачном аккаунте
  • Вычислительные кластеры работают здесь
  • Данные хранятся в вашем облачном хранилище
  • Вы управляете доступом и сетевой инфраструктурой
Введение в Databricks Lakehouse

Что где находится?

nanobanana: full: Split diagram with two sections connected by arrows: left side labeled Control Plane showing Workspace UI and Job Scheduler, right side labeled Data Plane showing Clusters and Cloud Storage, arrows flowing between them

Введение в Databricks Lakehouse

Журналы аудита и системные таблицы

$$

  • Журналы аудита фиксируют всю активность в рабочем пространстве
  • Хранятся в вашем облачном аккаунте в виде системных таблиц
  • Запрашиваются через SQL для отчётности по соответствию требованиям

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Введение в Databricks Lakehouse

Итоги

$$

  • Плоскость управления — под управлением Databricks (интерфейс, планирование, администрирование)
  • Плоскость данных — ваше облако (вычисления, хранилище, данные)
  • Журналы аудита — хранятся как системные таблицы в вашем аккаунте
  • Ваши данные никогда не покидают ваше облачное окружение
Введение в Databricks Lakehouse

Давайте потренируемся!

Введение в Databricks Lakehouse

Preparing Video For Download...