Snowpipe और Snowpipe Streaming

Snowflake में डेटा पाइपलाइन ऑटोमेशन

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

उपयोग मामला:

डिलिवरी इवेंट लगातार आते हैं

समाधान: Snowpipe

स्टेज में फ़ाइल उपलब्ध होते ही Snowpipe डेटा लोड करता है।

स्क्रीनशॉट 2026-05-11, 12:24:14 pm.png

¹ * Snowflake लर्निंग सामग्री

बैच लोडिंग की समस्या

दिनभर हर कुछ मिनट में फ़ाइलें S3 पर आती हैं
शेड्यूल्ड COPY INTO आधी रात को चलता है — 24 घंटे की देरी
विलंबित शिपमेंट अगले दिन ही दिखेंगे
Snowpipe यह गैप भरता है

-- Nightly batch: runs at 00:00, data arrives all day
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- A 9am exception won't appear until tomorrow

Snowpipe क्या है?

COPY INTO को रैप करता है — वही सिंटैक्स, वही फ़ाइल फ़ॉर्मेट
स्टेज में नई फ़ाइल आते ही स्वतः ट्रिगर होता है
माइक्रो-बैच में लोड, आमतौर पर मिनटों में
सर्वरलेस — कोई वेयरहाउस प्रोविजन नहीं करना

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Snowpipe कैसे काम करता है

Snowpipe का कार्यप्रवाह

AUTO_INGEST — इवेंट-ड्रिवन; क्लाउड स्टोरेज नोटिफिकेशन प्रकाशित करता है
Amazon S3 | Azure Event Grid | GCP Pub/Sub
REST API ट्रिगर — ऑर्केस्ट्रेशन कोड से सीधे insertFiles या insertReport कॉल करें

Snowpipe बिलिंग

स्क्रीनशॉट 2026-05-11, 12:24:14 pm.png

प्रति उपभोगित GB तय क्रेडिट पर बिल
टेक्स्ट फ़ाइलें: अनकंप्रेस्ड आकार पर शुल्क
बाइनरी फ़ाइलें: देखे गए आकार पर शुल्क

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
ट्रिगर	फ़ाइल स्टेज में आती है	पंक्ति ऐप द्वारा लिखी जाती है
विलंबता	मिनट	सेकंड
उपयोग	फ़ाइल-आधारित इवेंट फ़ीड	GPS, IoT, रियल-टाइम ऐप डेटा

फ़ाइल सीमा पूरी तरह हटती है

पंक्तियाँ सीधे ऐप से Streaming Ingest SDK द्वारा लिखी जाती हैं
न फ़ाइलें, न स्टेज — विलंबता सेकंडों में

# Snowpipe Streaming: application writes rows directly
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

सही इंजेशन विधि चुनना

इंजेशन विधियाँ

विधि	कब उपयोग करें
COPY INTO	शेड्यूल्ड बैच लोड — नाइटली फ़ाइलें, साप्ताहिक एक्सपोर्ट, घंटों का विलंब स्वीकार्य
Snowpipe	फ़ाइलें लगातार आती हैं, आगमन के मिनटों में लोड चाहिए
Snowpipe Streaming	एप्लिकेशन-जनित डेटा — GPS, IoT, वित्तीय बाजार — डेटा सेकंडों में उपलब्ध

¹ * Snowflake लर्निंग संसाधन

Ayo berlatih!

Snowflake में डेटा पाइपलाइन ऑटोमेशन