Delta Lake テーブルの最適化

Microsoft Fabricでデータを変換して分析する

Luis Silva

Solution Architect - Data & AI

Delta Lake とは？

• レイクハウス向けオープンソースのストレージ層
• ACID トランザクション、メタデータ管理、バージョニング
• Fabric は標準として Delta Lake テーブル形式（Parquet）を使用
• Fabric エクスペリエンス間で相互運用可能

テーブル保守

• Delta テーブルを良好に保つ
• テーブル保守の操作:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• 複数の小さな Parquet を大きなファイルに集約
  • 理想サイズは 128MB～1GB
  • 圧縮と分散が向上し、読み取り効率化
  • 大規模テーブル読み込み後の最適化を推奨

Optimize

• 複数の小さな Parquet を大きなファイルに集約
  • 理想サイズは 128MB～1GB
  • 圧縮と分散が向上し、読み取り効率化
  • 大規模テーブル読み込み後の最適化を推奨

Lakehouse エクスプローラーから Optimize を実行

Spark SQL で Optimize コマンドを実行

%%sql
OPTIMIZE <lakehouse>.<table>;

PySpark で Optimize コマンドを実行

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Parquet 書き込み時の特殊最適化
• 既定で有効

Lakehouse エクスプローラーで V-Order を適用

Apache Spark セッションでの V-Order 書き込み制御

• セッションで V-Order を有効化

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• セッションで V-Order を無効化

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

最適化時に V-Order を適用

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• 保持期間を過ぎ不要になった古いファイルを削除
• クラウドストレージ費用を削減

Vacuum

• 保持期間を過ぎ不要になった古いファイルを削除
• クラウドストレージ費用を削減

Lakehouse エクスプローラーから Vacuum を実行

¡Vamos a practicar!

Microsoft Fabricでデータを変換して分析する