Optymalizacja tabel Delta Lake

Przekształcanie i analizowanie danych w Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Czym jest Delta Lake?

• Warstwa przechowywania open source dla lakehouse
• Transakcje ACID, zarządzanie metadanymi i wersjonowanie
• Fabric używa formatu Delta Lake (Parquet) jako standardu
• Interoperacyjność między usługami Fabric

Konserwacja tabel

• Utrzymuje tabele delta w dobrej kondycji
• Operacje konserwacji tabel:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• Konsoliduje małe pliki Parquet w jeden duży
  • Optymalny rozmiar pliku: 128 MB – 1 GB
  • Poprawia kompresję i dystrybucję, przyspieszając odczyty
  • Zalecane po załadowaniu dużych tabel

Optimize

• Konsoliduje małe pliki Parquet w jeden duży
  • Optymalny rozmiar pliku: 128 MB – 1 GB
  • Poprawia kompresję i dystrybucję, przyspieszając odczyty
  • Zalecane po załadowaniu dużych tabel

Uruchamianie polecenia Optimize z eksploratora Lakehouse

Polecenie Optimize w Spark SQL

%%sql
OPTIMIZE <lakehouse>.<table>;

Polecenie Optimize w PySpark

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Specjalna optymalizacja podczas zapisu plików Parquet
• Włączona domyślnie

Stosowanie V-Order z eksploratora Lakehouse

Sterowanie zapisem V-Order w sesji Apache Spark

• Włącz V-Order dla sesji

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• Wyłącz V-Order dla sesji

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

Stosowanie V-Order podczas optymalizacji tabeli

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• Usuwa starsze pliki, które nie są już potrzebne i przekraczają próg retencji
• Obniża koszty przechowywania w chmurze

Vacuum

• Usuwa starsze pliki, które nie są już potrzebne i przekraczają próg retencji
• Obniża koszty przechowywania w chmurze

Uruchamianie Vacuum z eksploratora Lakehouse

Czas na ćwiczenia!

Przekształcanie i analizowanie danych w Microsoft Fabric