External और Iceberg टेबल्स

Snowflake में डेटा पाइपलाइन ऑटोमेशन

Emily Melhuish

Technical Curriculum Developer, Snowflake

External Table क्या है?

उपयोग मामला:

Harbr को रोज़ाना कई पार्टनर्स से फ़ाइलें मिलती हैं
उन्हें Snowflake में लोड करना तर्कसंगत नहीं

external table.png

External Tables

डेटा S3, GCS या Azure Blob में रहता है — Snowflake में नहीं जाता
Snowflake मेटाडेटा रखता है: फ़ाइल पथ, स्कीमा
क्वेरी समय पर फ़ाइलें पढ़ता है

External Table बनाना

CREATE EXTERNAL TABLE logistics.supplier_inventory
  WITH LOCATION = @harbr_stage/inventory/
  FILE_FORMAT = (TYPE = 'PARQUET')
  AUTO_REFRESH = TRUE;

External Tables कब उपयोग करें

डेटा पार्टनर के स्वामित्व में — डेटा मैनेजमेंट लिए बिना क्वेरी करें
फ़ाइलें बड़ी, क्वेरी कम — महीने में एक बार वाले डेटा को लोड करने से बचें
अनुपालन कारणों से डेटा नहीं हिल सकता — फ़ाइलें मूल स्थान पर रहें
कमिट से पहले खोज — क्या लोड करना है, तय करने से पहले रॉ फ़ाइलें पढ़ें

-- पार्टनर इन्वेंटरी क्वेरी करें
SELECT supplier_id,
       COUNT(*)       AS file_count,
       SUM(quantity)  AS total_units
FROM logistics.supplier_inventory
WHERE delivery_date >= '2024-01-01'
GROUP BY supplier_id;

External Tables बनाम डेटा लोडिंग

External tables

Snowflake स्टोरेज लागत शून्य
हमेशा क्लाउड स्टोरेज की वर्तमान स्थिति दर्शाता है
कभी-कभार क्वेरी/आर्काइव्ड डेटा के लिए श्रेष्ठ

-- सीधे क्वेरी, लोड की ज़रूरत नहीं
SELECT * FROM 
logistics.supplier_inventory
WHERE supplier_id = 'SUP-042';

COPY INTO से लोडिंग

पूर्ण Snowflake क्वेरी परफॉर्मेंस
बार-बार क्वेरी/लाइव डेटा के लिए श्रेष्ठ

-- एक बार लोड करें, तेज़ क्वेरी
COPY INTO logistics.delivery_events
FROM @harbr_stage/events/;

Apache Iceberg टेबल्स

S3, Azure Blob या GCS से डेटा सही तरह कैसे पढ़ें?
- Apache
Apache = ओपन टेबल फ़ॉर्मेट: डेटा किसी एक इंजन में लॉक नहीं
- Parquet फ़ाइलें + मेटाडेटा लेयर (time travel, schema history, partitions)
- डेटाबेस-ग्रेड विश्वसनीयता

स्क्रीनशॉट 2026-05-11, 12:14:31 pm.png

¹ * Snowflake शैक्षणिक सामग्री

Snowflake-प्रबंधित बनाम बाह्य-प्रबंधित

Snowflake-प्रबंधित

Snowflake Iceberg मेटाडेटा का मालिक है और लिखता है
SQL से पूर्ण read-write एक्सेस

CREATE ICEBERG TABLE 
logistics.shipments
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'harbr_s3_vol'
  BASE_LOCATION = 'iceberg/shipments/';

बाह्य-प्रबंधित

बाहरी कैटलॉग मेटाडेटा का मालिक — AWS Glue, Apache Polaris

CREATE ICEBERG TABLE 
logistics.partner_data
  CATALOG = 'glue_catalog'
  EXTERNAL_VOLUME = 'harbr_s3_vol'
  CATALOG_TABLE_NAME = 
  'partner.deliveries';

Ayo berlatih!

Snowflake में डेटा पाइपलाइन ऑटोमेशन