資料表的持久性與範圍

Databricks 中的資料管理

Smriti Mishra

Founder, NordData Insight

什麼是表的持久性？

  • 表的持久性決定資料儲存與保留
  • 影響儲存、存取與維護
  • Databricks 支援受管與非受管資料表

人們將檔案存放與檢視於檔案櫃的卡通圖

Databricks 中的資料管理

Databricks 的受管資料表

  • 由 Databricks 全面管理，包括資料位置與生命週期。
  • 刪除資料表時會自動刪除資料。
  • 適合簡單、集中式的資料管理。

以不同顏色圓點呈現集中式系統如何運作的圖片

Databricks 中的資料管理

Databricks 的非受管資料表

  • 去中心化作法
  • 可控資料儲存位置與生命週期
  • 刪除非受管資料表不會刪除資料
  • 適用於自訂儲存或法規遵循需求

以不同顏色圓點呈現去中心化系統如何運作的圖片

Databricks 中的資料管理

選擇受管或非受管資料表？

Aspect.png

Databricks 中的資料管理

LOCATION 關鍵字

  • 在非受管資料表中設定資料儲存位置是關鍵。
  • 儲存位置會影響成本、擷取時間與保留政策。

 

CREATE TABLE table_name (
    column_name data_type,
    ...
)
USING file_format
LOCATION 'path/to/data';
Databricks 中的資料管理

重點整理

  • 受管資料表在 Databricks 內集中管理儲存與生命週期。
  • 非受管資料表提供儲存與生命週期的彈性。
  • 依資料儲存、控管與管理需求來選擇。

呈現資料儲存與生命週期管理的圖片

Databricks 中的資料管理

一起來練習吧！

Databricks 中的資料管理

Preparing Video For Download...