क्वेरी प्रोफाइल, हिस्ट्री, और इनसाइट्स

Snowflake में डेटा पाइपलाइन ऑटोमेशन

Emily Melhuish

Technical Curriculum Developer, Snowflake

क्वेरी प्रोफाइल क्यों

ऑपरेशंस_डैशबोर्ड

  • Snowflake ऐसा डेटा स्कैन कर सकता है जिसे छूना ही नहीं चाहिए
Snowflake में डेटा पाइपलाइन ऑटोमेशन

Snowsight में क्वेरी प्रोफाइल खोलना

क्वेरी प्रोफाइल तक कैसे पहुंचें

ऐक्सेस: Monitoring > Query History > [Select Query] > Query Profile टैब

Snowflake में डेटा पाइपलाइन ऑटोमेशन

ऑपरेटर ट्री पढ़ना

Snowsight क्वेरी प्रोफाइल: ऑपरेटर ग्राफ और Most Expensive Nodes पैनल

Snowflake में डेटा पाइपलाइन ऑटोमेशन

क्वेरी प्रोफाइल जिन 4 आम समस्याओं को दिखाता है

Exploding Joins

  • जितनी पंक्तियाँ चाहिएं उससे अधिक बना देता है

Union without All

  • डुप्लिकेट हटाने हेतु UNION के ऊपर Aggregate जोड़ता है
  • लागत = अतिरिक्त समय

डिस्क पर स्पिल

  • मेमोरी-गहन ऑपरेटरों की मेमोरी खत्म हो जाती है
  • जैसे Aggregates, Sorts, या बड़े Joins

अप्रभावी प्रूनिंग

  • जब स्कैन की गई पार्टिशन गिनती, कुल पार्टिशन के करीब हो
  • फ़िल्टर प्रभावी नहीं हैं
Snowflake में डेटा पाइपलाइन ऑटोमेशन

डिस्क पर स्पिल: लोकल बनाम रिमोट

  • लोकल स्पिल → वेयरहाउस SSD — मेमोरी से धीमा, पर संभालने योग्य
  • रिमोट स्पिल → क्लाउड स्टोरेज — काफी धीमा; इसे ठीक करना होगा

डायग्नोस्टिक क्वेरी

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;
Snowflake में डेटा पाइपलाइन ऑटोमेशन

QUERY_HISTORY: अकाउंट-स्तरीय दृश्यता

  • ACCOUNT_USAGE.QUERY_HISTORY — 365 दिन रिटेंशन वाली व्यू
  • INFORMATION_SCHEMA.QUERY_HISTORY() टेबल फ़ंक्शन, 7 दिन रिटेंशन

क्वेरी हिस्ट्री चलाते हुए का स्क्रीनशॉट

Snowflake में डेटा पाइपलाइन ऑटोमेशन

क्वेरी इनसाइट्स: स्वचालित सिफारिशें

क्वेरी इनसाइट्स सिफारिश

Snowflake में डेटा पाइपलाइन ऑटोमेशन

¡Vamos a practicar!

Snowflake में डेटा पाइपलाइन ऑटोमेशन

Preparing Video For Download...