Оптимизация таблиц Delta Lake

Преобразование и анализ данных с Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Что такое Delta Lake?

• Слой хранения с открытым исходным кодом для лейкхаусов
• Транзакции ACID, управление метаданными и версионирование
• Fabric использует формат таблиц Delta Lake (Parquet) как стандарт
• Совместимость со всеми компонентами Fabric

Обслуживание таблиц

• Поддержание таблиц Delta в рабочем состоянии
• Операции обслуживания таблиц:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• Объединение нескольких небольших файлов Parquet в один большой
  • Оптимальный размер файла — от 128 МБ до 1 ГБ
  • Улучшение сжатия и распределения для ускорения чтения
  • Рекомендуется выполнять после загрузки больших таблиц

Optimize

• Объединение нескольких небольших файлов Parquet в один большой
  • Оптимальный размер файла — от 128 МБ до 1 ГБ
  • Улучшение сжатия и распределения для ускорения чтения
  • Рекомендуется выполнять после загрузки больших таблиц

Запуск команды Optimize из проводника Lakehouse

Запуск команды Optimize в Spark SQL

%%sql
OPTIMIZE <lakehouse>.<table>;

Запуск команды Optimize в PySpark

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Специальная оптимизация при записи файлов Parquet
• Включена по умолчанию

Применение V-Order из проводника Lakehouse

Управление записью V-Order в сессии Apache Spark

• Включить V-Order для сессии

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• Отключить V-Order для сессии

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

Применение V-Order при оптимизации таблицы

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• Удаление устаревших файлов, которые больше не нужны и превышают порог хранения
• Снижение затрат на облачное хранилище

Vacuum

• Удаление устаревших файлов, которые больше не нужны и превышают порог хранения
• Снижение затрат на облачное хранилище

Запуск Vacuum из проводника Lakehouse

Давайте потренируемся!

Преобразование и анализ данных с Microsoft Fabric