Архітектура платформи

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Аналогія з готелем

Control plane — «Реєстрація в готелі»

recraft: half: Сучасна стійка реєстрації з консьєржем, що керує бронюваннями на екранах, як аналог Databricks для координації та планування

Керується Databricks
Обробляє координацію та запити

Data plane — «Ваш номер»

recraft: half: Безпечний приватний готельний номер з сейфом і робочим столом — аналог облікового запису в хмарі клієнта, де зберігаються дані й виконується обчислення

Розміщено у вашому хмарному акаунті
Тут живуть ваші дані та обчислення

Control plane

Керується Databricks
Інтерфейс робочої області та нотатники
Планування та оркестрація джобів
Керування й конфігурація кластерів

recraft: half: Сучасна стійка реєстрації з впорядкованими моніторами з дашбордами та дошками планування — як центр керування

Data plane

recraft: half: Безпечне сховище з серверними стійками та замкненими контейнерами — інфраструктура в хмарі, що належить клієнту

Розміщено у вашому хмарному акаунті
Кластери обчислень працюють тут
Дані зберігаються у вашому хмарному сховищі
Ви керуєте доступом і мережею

Що де розміщено?

nanobanana: full: Розділена схема з двома секціями, з'єднаними стрілками: ліворуч «Control Plane» з Workspace UI та Job Scheduler, праворуч «Data Plane» з Clusters і Cloud Storage, між ними стрілки

Журнали аудиту та системні таблиці

Журнали аудиту фіксують усю активність у робочій області
Зберігаються у вашому хмарному акаунті як системні таблиці
Запитуйте SQL для звітності з відповідності

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

Підсумок

Control plane — під керуванням Databricks (UI, планування, керування)
Data plane — ваша хмара (обчислення, сховище, дані)
Журнали аудиту — зберігаються як системні таблиці у вашому акаунті
Ваші дані ніколи не залишають ваше хмарне середовище

Давайте потренуємось!

Вступ до Databricks Lakehouse