Оптимізація таблиць Delta Lake

Перетворення та аналіз даних у Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Що таке Delta Lake?

• Відкритий шар зберігання для lakehouse
• ACID‑транзакції, обробка метаданих і версіонування
• Fabric використовує формат таблиць Delta Lake (Parquet) як стандарт
• Сумісність між середовищами Fabric

Обслуговування таблиць

• Підтримуйте delta‑таблиці в належному стані
• Операції обслуговування таблиць:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• Об'єднує багато малих файлів Parquet в один великий
  • Ідеальний розмір файлу: 128MB–1GB
  • Краще стиснення й розподіл → ефективні читання
  • Рекомендовано оптимізувати після завантаження великих таблиць

Optimize

• Об'єднує багато малих файлів Parquet в один великий
  • Ідеальний розмір файлу: 128MB–1GB
  • Краще стиснення й розподіл → ефективні читання
  • Рекомендовано оптимізувати після завантаження великих таблиць

Запуск Optimize із Lakehouse explorer

Запуск Optimize у Spark SQL

%%sql
OPTIMIZE <lakehouse>.<table>;

Запуск Optimize у PySpark

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Спеціальна оптимізація під час запису файлів Parquet
• Увімкнено за замовчуванням

Застосування V-Order у Lakehouse explorer

Керування записом V-Order у сесії Apache Spark

• Увімкніть V-Order для сесії

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• Вимкніть V-Order для сесії

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

Застосування V-Order під час оптимізації таблиці

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• Видаляє застарілі непотрібні файли, старші за поріг зберігання
• Зменшує витрати на хмарне зберігання

Vacuum

• Видаляє застарілі непотрібні файли, старші за поріг зберігання
• Зменшує витрати на хмарне зберігання

Запуск Vacuum із Lakehouse explorer

Давайте потренуємось!

Перетворення та аналіз даних у Microsoft Fabric