समापन
Polars के साथ Data Pipelines का स्केलिंग और ऑप्टिमाइज़ेशन
Liam Brannigan
Data Scientist & Polars Contributor
अध्याय 1
- समझना कि Polars पर्दे के पीछे लेज़ी क्वेरियों को कैसे ऑप्टिमाइज़ करता है
- क्वेरी प्लान पढ़ना और एक्सिक्यूशन की प्रोफाइलिंग करना
- काम घटाने के लिए sorted डेटा और फास्ट-पाथ ऑपरेशंस का उपयोग
अध्याय 2
- CSV और Parquet की तुलना करना और फ़ाइल मेटाडेटा देखना
- Polars डेटा कैसे स्कैन और लिखता है, इसे नियंत्रित करना
- मल्टीफ़ाइल डेटासेट, पार्टिशन्ड लेआउट, और डेटाबेस तक स्केल करना
अध्याय 3
- नेस्टेड डेटा के लिए list और struct कॉलम के साथ काम करना
- दोहराए जाने वाले strings के लिए categorical और enum टाइप्स का उपयोग
- DataFrame साइज का अनुमान और न्यूमेरिक प्रिसिजन ट्यून करना
अध्याय 4
- डिफ़ॉल्ट, स्ट्रीमिंग, और GPU एक्सिक्यूशन इंजन को टारगेट करना
- बैचों में रिजल्ट प्रोसेस करना और आउटपुट डिस्क पर लिखना
- मज़बूत, विश्वसनीय पाइपलाइनों के लिए Polars क्वेरियों का परीक्षण
