Delta Sharing: các loại và đánh đổi

Giới thiệu về Databricks Lakehouse

Gang Wang

Senior Data Scientist

Hai cách chia sẻ

so sánh: Native Sharing vs Open Protocol Sharing

Native sharing - Databricks đến Databricks
- Tích hợp Unity Catalog mượt mà
- Quản trị đầy đủ ở cả hai bên
Open protocol - mọi nền tảng
- Spark, pandas, Power BI, Snowflake
- Cần thiết lập nhiều hơn, nhưng phủ rộng hơn

Chia sẻ gốc Databricks

Cả hai bên đều là khách hàng Databricks
Dữ liệu chia sẻ xuất hiện trong Unity Catalog của bên nhận
Quản trị đầy đủ ở cả hai bên
Thiết lập tối thiểu - chỉ cần tạo share và cấp quyền truy cập

recraft: half: Hai tòa nhà hiện đại nối bằng một cây cầu phát sáng, tượng trưng cho kết nối trực tiếp liền mạch giữa hai workspace Databricks

Chia sẻ theo giao thức mở

# Mã của bên nhận (dùng pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

Bên nhận có thể dùng bất kỳ nền tảng nào
Bên nhận cài Delta Sharing client
Spark, pandas, Power BI, Snowflake, Tableau

Cân nhắc chi phí

Cùng vùng - thường không có phí egress
Khác vùng - nhà cung cấp cloud tính phí truyền dữ liệu
Khác cloud (ví dụ Azure sang AWS) - phí egress cao nhất
Giữ dữ liệu chia sẻ gần các bên nhận chính

các lớp: Cùng vùng - Miễn phí hoặc rẻ, Khác vùng - Tính phí egress, Khác cloud - Phí cao nhất

Chọn cách tiếp cận phù hợp

cây quyết định: Bên nhận dùng Databricks? Có - dùng Native Sharing (quản trị đầy đủ, thiết lập ít, ghi log kiểm toán). Không - dùng Open Protocol (mọi nền tảng, chỉ quản trị bởi nhà cung cấp, thiết lập trung bình). Cả hai - cân nhắc phí egress theo vùng.

Tóm tắt

Native sharing - Databricks-to-Databricks, liền mạch, quản trị đầy đủ
Open protocol - mọi nền tảng, phạm vi rộng hơn, cần thiết lập nhiều hơn
Phí egress tăng khi chia sẻ khác vùng và khác cloud
Chọn theo nền tảng của bên nhận và vị trí dữ liệu

Cùng luyện tập nào!

Giới thiệu về Databricks Lakehouse