Tối ưu bảng Delta Lake

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Delta Lake là gì?

• Lớp lưu trữ mã nguồn mở cho lakehouse
• Giao dịch ACID, xử lý siêu dữ liệu và quản lý phiên bản
• Fabric dùng định dạng bảng Delta Lake (Parquet) làm chuẩn
• Tương tác liên thông giữa các trải nghiệm Fabric

Bảo trì bảng

• Duy trì bảng Delta gọn nhẹ
• Các thao tác bảo trì bảng:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• Gộp nhiều tệp Parquet nhỏ thành tệp lớn
  • Kích thước lý tưởng: 128MB–1GB
  • Cải thiện nén và phân phối, đọc hiệu quả hơn
  • Nên tối ưu sau khi nạp bảng lớn

Optimize

• Gộp nhiều tệp Parquet nhỏ thành tệp lớn
  • Kích thước lý tưởng: 128MB–1GB
  • Cải thiện nén và phân phối, đọc hiệu quả hơn
  • Nên tối ưu sau khi nạp bảng lớn

Chạy lệnh Optimize từ Lakehouse explorer

Chạy lệnh Optimize trong Spark SQL

%%sql
OPTIMIZE <lakehouse>.<table>;

Chạy lệnh Optimize trong PySpark

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Tối ưu đặc biệt khi ghi tệp Parquet
• Bật mặc định

Áp dụng V-Order từ Lakehouse explorer

Kiểm soát ghi V-Order trong phiên Apache Spark

• Bật V-Order cho phiên

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• Tắt V-Order cho phiên

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

Áp dụng V-Order khi tối ưu bảng

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• Xóa các tệp cũ không còn cần và vượt ngưỡng lưu giữ
• Giảm chi phí lưu trữ đám mây

Vacuum

• Xóa các tệp cũ không còn cần và vượt ngưỡng lưu giữ
• Giảm chi phí lưu trữ đám mây

Chạy Vacuum từ Lakehouse explorer

Ayo berlatih!

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric