Optimalizace tabulek Delta Lake

Transform and Analyze Data with Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Co je Delta Lake?

• Open source úložná vrstva pro lakehousy
• ACID transakce, správa metadat a verzování
• Fabric používá formát tabulek Delta Lake (Parquet) jako standard
• Interoperabilita napříč prostředími Fabric

Údržba tabulek

• Udržování delta tabulek v optimálním stavu
• Operace údržby tabulek:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• Sloučení více malých souborů Parquet do jednoho velkého
  • Ideální velikost souboru: 128 MB až 1 GB
  • Zlepšení komprese a distribuce pro efektivní čtení
  • Doporučeno optimalizovat po načtení velkých tabulek

Optimize

• Sloučení více malých souborů Parquet do jednoho velkého
  • Ideální velikost souboru: 128 MB až 1 GB
  • Zlepšení komprese a distribuce pro efektivní čtení
  • Doporučeno optimalizovat po načtení velkých tabulek

Spuštění příkazu Optimize z průzkumníku Lakehouse

Spuštění příkazu Optimize ve Spark SQL

%%sql
OPTIMIZE <lakehouse>.<table>;

Spuštění příkazu Optimize v PySparku

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Speciální optimalizace při zápisu souborů Parquet
• Ve výchozím nastavení povolena

Použití V-Order z průzkumníku Lakehouse

Řízení zápisu V-Order v relaci Apache Spark

• Povolení V-Order pro relaci

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• Zakázání V-Order pro relaci

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

Použití V-Order při optimalizaci tabulky

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• Odstranění starších souborů, které již nejsou potřebné a jsou starší než prahová hodnota uchování
• Snížení nákladů na cloudové úložiště

Vacuum

• Odstranění starších souborů, které již nejsou potřebné a jsou starší než prahová hodnota uchování
• Snížení nákladů na cloudové úložiště

Spuštění příkazu Vacuum z průzkumníku Lakehouse

Pojďme si procvičit!

Transform and Analyze Data with Microsoft Fabric