Optimering av Delta Lake-tabeller

Transformera och analysera data med Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Vad är Delta Lake?

• Öppet källkodslagerlager för lakehouses
• ACID-transaktioner, metadatahantering och versionshantering
• Fabric använder Delta Lake-tabellformat (Parquet) som standard
• Interoperabilitet mellan Fabric-upplevelser

Tabellunderhåll

• Håll delta-tabeller i gott skick
• Underhållsoperationer för tabeller:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• Slå ihop flera små Parquet-filer till en stor fil
  • Idealisk filstorlek mellan 128 MB och 1 GB
  • Förbättrar komprimering och distribution för effektivare läsning
  • Rekommenderas att köra efter inläsning av stora tabeller

Optimize

• Slå ihop flera små Parquet-filer till en stor fil
  • Idealisk filstorlek mellan 128 MB och 1 GB
  • Förbättrar komprimering och distribution för effektivare läsning
  • Rekommenderas att köra efter inläsning av stora tabeller

Köra Optimize-kommandot från Lakehouse-utforskaren

Köra Optimize-kommandot i Spark SQL

%%sql
OPTIMIZE <lakehouse>.<table>;

Köra Optimize-kommandot i PySpark

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Särskild optimering vid skrivning av Parquet-filer
• Aktiverat som standard

Tillämpa V-Order från Lakehouse-utforskaren

Styra V-Order-skrivning i en Apache Spark-session

• Aktivera V-Order för sessionen

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• Inaktivera V-Order för sessionen

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

Tillämpa V-Order vid optimering av en tabell

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• Ta bort äldre filer som inte längre behövs och som är äldre än kvarhållningströskeln
• Minska kostnaderna för molnlagring

Vacuum

• Ta bort äldre filer som inte längre behövs och som är äldre än kvarhållningströskeln
• Minska kostnaderna för molnlagring

Köra Vacuum från Lakehouse-utforskaren

Nu kör vi en övning!

Transformera och analysera data med Microsoft Fabric