Harici ve Iceberg Tabloları

Snowflake'te Veri Pipeline'larını Otomatikleştirme

Emily Melhuish

Technical Curriculum Developer, Snowflake

Harici Tablo nedir?

Kullanım durumu:

Harbr her gün onlarca iş ortağından dosya alır
Bunları Snowflake’e yüklemek mantıklı değil

harici tablo.png

Harici Tablolar

Veri S3, GCS veya Azure Blob’da kalır — Snowflake’e taşınmaz
Snowflake meta verileri tutar: dosya yolları, şemalar
Sorgu anında dosyaları okur

Harici Tablo Oluşturma

CREATE EXTERNAL TABLE logistics.supplier_inventory
  WITH LOCATION = @harbr_stage/inventory/
  FILE_FORMAT = (TYPE = 'PARQUET')
  AUTO_REFRESH = TRUE;

Harici Tablolar ne zaman kullanılır?

Veri bir iş ortağına aittir — veri yönetimini üstlenmeden sorgulayın
Dosyalar büyük, nadiren sorgulanır — ayda bir erişilen veriyi yüklemekten kaçının
Uyumluluk gereği taşınamaz — dosyalar orijinal konumda kalmalıdır
Taahhüt etmeden önce keşif — ne yükleneceğine karar vermeden ham dosyaları okuyun

-- İş ortağı envanterini sorgulayın 
SELECT supplier_id,
       COUNT(*)       AS file_count,
       SUM(quantity)  AS total_units
FROM logistics.supplier_inventory
WHERE delivery_date >= '2024-01-01'
GROUP BY supplier_id;

Harici Tablolar vs Veri Yükleme

Harici tablolar

Snowflake depolama maliyeti yok
Her zaman bulut depolamadaki güncel durumu yansıtır
Seyrek sorgulanan, arşiv veriler için idealdir

-- Doğrudan sorgulayın, yükleme gerekmez
SELECT * FROM 
logistics.supplier_inventory
WHERE supplier_id = 'SUP-042';

COPY INTO ile yükleme

Tam Snowflake sorgu performansı
Sık sorgulanan, canlı veriler için en iyisi

-- Bir kez yükleyin, hızlı sorgulayın
COPY INTO logistics.delivery_events
FROM @harbr_stage/events/;

Apache Iceberg Tabloları

S3, Azure Blob veya GCS’den veriyi doğru okumayı nasıl sağlarız?
- Apache
Apache = Açık tablo formatı: veri herhangi bir motora kilitli değil
- Parquet dosyaları + meta veri katmanı (zaman yolculuğu, şema geçmişi, bölümler)
- veritabanı düzeyinde güvenilirlik

Ekran görüntüsü 11 May 2026 12:14:31.png

¹ * Snowflake eğitim materyali

Snowflake yönetimli vs Harici yönetimli

Snowflake tarafından yönetilen

Iceberg meta verilerini Snowflake sahiplenir ve yazar
SQL ile tam okuma‑yazma erişimi

CREATE ICEBERG TABLE 
logistics.shipments
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'harbr_s3_vol'
  BASE_LOCATION = 'iceberg/shipments/';

Harici olarak yönetilen

Katalog dışı meta veriye sahiptir - AWS Glue, Apache Polaris

CREATE ICEBERG TABLE 
logistics.partner_data
  CATALOG = 'glue_catalog'
  EXTERNAL_VOLUME = 'harbr_s3_vol'
  CATALOG_TABLE_NAME = 
  'partner.deliveries';

¡Vamos a practicar!

Snowflake'te Veri Pipeline'larını Otomatikleştirme