Delta Lake टेबल ऑप्टिमाइज़ेशन

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें

Luis Silva

Solution Architect - Data & AI

Delta Lake क्या है?

• लेकहाउस के लिए ओपन-सोर्स स्टोरेज लेयर
• ACID ट्रांज़ैक्शन, मेटाडेटा हैंडलिंग और वर्ज़निंग
• Fabric मानक रूप में Delta Lake टेबल फ़ॉर्मेट (Parquet) का उपयोग करता है
• Fabric अनुभवों के बीच इंटरऑपरेबिलिटी

टेबल मेंटेनेंस

• डेल्टा टेबल्स को फिट रखें
• टेबल मेंटेनेंस ऑपरेशंस:
  • Optimize
  • V-Order
  • Vacuum

Optimize

• कई छोटे Parquet फ़ाइलों को एक बड़ी फ़ाइल में समेकित करें
  • आदर्श फ़ाइल आकार 128MB से 1GB
  • बेहतर कंप्रेशन और डिस्ट्रीब्यूशन, जिससे रीड्स कुशल बनती हैं
  • बड़ी टेबल लोड करने के बाद ऑप्टिमाइज़ करना अनुशंसित है

Optimize

• कई छोटे Parquet फ़ाइलों को एक बड़ी फ़ाइल में समेकित करें
  • आदर्श फ़ाइल आकार 128MB से 1GB
  • बेहतर कंप्रेशन और डिस्ट्रीब्यूशन, जिससे रीड्स कुशल बनती हैं
  • बड़ी टेबल लोड करने के बाद ऑप्टिमाइज़ करना अनुशंसित है

Lakehouse explorer से Optimize कमांड चलाना

Spark SQL में Optimize कमांड चलाना

%%sql
OPTIMIZE <lakehouse>.<table>;

PySpark में Optimize कमांड चलाना

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()

V-Order

• Parquet फ़ाइलें लिखते समय विशेष ऑप्टिमाइज़ेशन लागू होता है
• डिफ़ॉल्ट रूप से सक्षम

Lakehouse explorer से V-Order लागू करना

Apache Spark सत्र में V-Order लिखना नियंत्रित करना

• सत्र के लिए V-Order सक्षम करें

  %%sql 
  SET spark.sql.parquet.vorder.enabled=TRUE
  

   

• सत्र के लिए V-Order अक्षम करें

  %%sql 
  SET spark.sql.parquet.vorder.enabled=FALSE
  

टेबल ऑप्टिमाइज़ करते समय V-Order लागू करना

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;

Vacuum

• पुरानी, अनावश्यक और रिटेंशन थ्रेशहोल्ड से पुरानी फ़ाइलें हटाएँ
• क्लाउड स्टोरेज लागत घटाएँ

Vacuum

• पुरानी, अनावश्यक और रिटेंशन थ्रेशहोल्ड से पुरानी फ़ाइलें हटाएँ
• क्लाउड स्टोरेज लागत घटाएँ

Lakehouse explorer से Vacuum चलाना

अभ्यास करते हैं!

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें