Delta Sharing: ประเภทและข้อดี-ข้อเสีย

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

สองแนวทางในการแชร์ข้อมูล

เปรียบเทียบ: Native Sharing กับ Open Protocol Sharing

Native sharing - Databricks ถึง Databricks
- ผสานกับ Unity Catalog ได้อย่างราบรื่น
- governance ครบถ้วนทั้งสองฝ่าย
Open protocol - ทุกแพลตฟอร์ม
- Spark, pandas, Power BI, Snowflake
- ตั้งค่าเพิ่มขึ้น แต่ เข้าถึงได้กว้างขึ้น

Databricks-native sharing

ทั้งสองฝ่ายเป็นลูกค้า Databricks
ข้อมูลที่แชร์จะปรากฏใน Unity Catalog ของผู้รับ
governance ครบถ้วนทั้งสองฝ่าย
ตั้งค่าน้อย - เพียงสร้าง share และกำหนดสิทธิ์

recraft: half: อาคารสมัยใหม่สองหลังเชื่อมกันด้วยสะพานเรืองแสง แทนการเชื่อมต่อโดยตรงระหว่าง Databricks workspaces สองแห่ง

Open protocol sharing

# Recipient's code (using pandas)
import delta_sharing

profile = "config.share"
client = delta_sharing.SharingClient(
    profile
)
tables = client.list_all_tables()
df = delta_sharing.load_as_pandas(
    f"{profile}#share.schema.table"
)

ผู้รับใช้ แพลตฟอร์มใดก็ได้
ผู้รับติดตั้ง Delta Sharing client
Spark, pandas, Power BI, Snowflake, Tableau

ข้อควรพิจารณาด้านต้นทุน

Region เดียวกัน - โดยทั่วไปไม่มีค่า egress
ข้ามภูมิภาค - ผู้ให้บริการ cloud เรียกเก็บค่าโอนข้อมูล
ข้าม cloud (เช่น Azure ไป AWS) - ค่า egress สูงที่สุด
เก็บข้อมูลที่แชร์ให้ใกล้กับผู้รับหลัก

layers: Same Region - ฟรีหรือถูก, Cross-Region - มีค่า egress, Cross-Cloud - ค่าธรรมเนียมสูงสุด

เลือกแนวทางที่เหมาะสม

decision tree: ผู้รับใช้ Databricks หรือไม่? ใช่ - ใช้ Native Sharing (governance ครบ, ตั้งค่าน้อย, มี audit logging). ไม่ใช่ - ใช้ Open Protocol (ทุกแพลตฟอร์ม, governance ฝั่งผู้ให้บริการเท่านั้น, ตั้งค่าปานกลาง). ทั้งสองกรณี - คำนึงถึงค่า egress ตาม region.

สรุป

Native sharing - Databricks ถึง Databricks ราบรื่น governance ครบ
Open protocol - ทุกแพลตฟอร์ม เข้าถึงกว้างขึ้น ตั้งค่าเพิ่มขึ้น
ค่า egress เพิ่มขึ้นเมื่อแชร์ข้ามภูมิภาคและข้าม cloud
เลือกตามแพลตฟอร์มของผู้รับและตำแหน่งข้อมูล

มาฝึกกันเถอะ!

Introduction to Databricks Lakehouse