Kiến trúc nền tảng

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

So sánh với khách sạn

Control plane - "Quầy lễ tân"

recraft: half: Quầy lễ tân khách sạn hiện đại với nhân viên concierge quản lý đặt phòng trên màn hình, đại diện cho Databricks điều phối và lập lịch

Được Databricks quản lý
Xử lý điều phối và yêu cầu

Data plane - "Phòng khách sạn của bạn"

recraft: half: Phòng khách sạn riêng tư, an toàn với két sắt cá nhân và bàn làm việc, đại diện cho tài khoản đám mây của khách hàng nơi dữ liệu và tác vụ chạy

Nằm trong tài khoản đám mây của bạn
Nơi dữ liệu và tính toán của bạn chạy

Control plane

Được Databricks quản lý
Giao diện Workspace và notebooks
Lập lịch và điều phối jobs
Quản lý và cấu hình cluster

recraft: half: Quầy lễ tân hiện đại với các màn hình hiển thị dashboard và bảng lập lịch được sắp xếp gọn, đại diện cho trung tâm điều khiển

Data plane

recraft: half: Phòng kho tiền an toàn với các rack máy chủ và tủ lưu trữ khóa, đại diện cho hạ tầng đám mây do khách hàng sở hữu

Nằm trong tài khoản đám mây của bạn
Cluster tính toán chạy tại đây
Dữ liệu lưu trong cloud storage của bạn
Bạn kiểm soát truy cập và mạng

Cái gì ở đâu?

nanobanana: full: Sơ đồ tách đôi với hai phần nối bằng mũi tên: bên trái nhãn Control Plane hiển thị Workspace UI và Job Scheduler, bên phải nhãn Data Plane hiển thị Clusters và Cloud Storage, mũi tên luân chuyển giữa hai bên

Audit logs và system tables

Audit logs theo dõi mọi hoạt động trong workspace
Lưu trong tài khoản đám mây của bạn dưới dạng system tables
Truy vấn bằng SQL cho báo cáo tuân thủ

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

Tóm tắt

Control plane - Databricks quản lý (UI, lập lịch, quản trị)
Data plane - đám mây của bạn (tính toán, lưu trữ, dữ liệu)
Audit logs - lưu dưới dạng system tables trong tài khoản bạn
Dữ liệu của bạn không bao giờ rời khỏi môi trường đám mây của bạn

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse