テーブルの永続性とスコープ

Databricks におけるデータ管理

Smriti Mishra

Founder, NordData Insight

テーブルの永続性とは？

  • テーブルの永続性は保存と保持を制御
  • 保存、アクセス、保守に影響
  • Databricks は管理/非管理テーブルをサポート

書類をキャビネットに保管・確認する人々のイラスト

Databricks におけるデータ管理

Databricks の管理テーブル

  • Databricks がデータの場所とライフサイクルを完全管理。
  • テーブル削除時にデータも自動削除。
  • 単純で一元管理したい場合に適合。

色分けされた点で中央集約を示す画像

Databricks におけるデータ管理

Databricks の非管理テーブル

  • 分散型アプローチ
  • データの保存場所とライフサイクルを自分で管理
  • 非管理テーブルを削除してもデータは削除されない
  • カスタム保存やコンプライアンス要件に有用

色分けされた点で分散を示す画像

Databricks におけるデータ管理

管理か非管理か？

Aspect.png

Databricks におけるデータ管理

LOCATION キーワード

  • 非管理テーブルでのデータ保存先の設定に必須。
  • 保存場所はコスト、取得時間、保持ポリシーに影響。

 

CREATE TABLE table_name (
    column_name data_type,
    ...
)
USING file_format
LOCATION 'path/to/data';
Databricks におけるデータ管理

重要ポイント

  • 管理テーブルは保存とライフサイクルを Databricks に一元化。
  • 非管理テーブルは保存とライフサイクルを柔軟に設定可能。
  • 保存、制御、運用ニーズで選択。

データの保存とライフサイクル管理を示す画像

Databricks におけるデータ管理

練習しましょう！

Databricks におけるデータ管理

Preparing Video For Download...