Snowpipe ve Snowpipe Streaming

Snowflake'te Veri Pipeline'larını Otomatikleştirme

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

Kullanım Senaryosu:

Teslimat olayları sürekli gelir

Çözüm: Snowpipe

Snowpipe, dosyalar stage'de hazır olur olmaz yükler.

Ekran görüntüsü 11.05.2026 12:24:14

¹ * Snowflake Öğrenim Materyali

Toplu Yüklemenin Sorunu

Gün boyu her birkaç dakikada bir S3'e dosya gelir
Zamanlanmış COPY INTO gece yarısı çalışır — 24 saat gecikme
Geciken gönderimler ertesi güne kadar görünmez
Snowpipe bu farkı kapatır

-- Nightly batch: runs at 00:00, data arrives all day
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- A 9am exception won't appear until tomorrow

Snowpipe Nedir?

Bir COPY INTO ifadesini sarar — aynı söz dizimi, aynı dosya biçimleri
Stage'e yeni dosya geldikçe otomatik tetiklenir
Mikro toplularla yükler; tipik olarak dakikalar içinde
Sunucusuz — ambar sağlama yok

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Snowpipe Nasıl Çalışır

Snowpipe iş akışı

AUTO_INGEST — olay odaklı; bulut depolama bir bildirim yayınlar
Amazon S3 | Azure Event Grid | GCP Pub/Sub
REST API tetikleyici — orkestrasyon kodundan insertFiles veya insertReport uç noktalarını çağırın

Snowpipe Faturalandırma

Ekran görüntüsü 11.05.2026 12:24:14

GB başına sabit kredi tutarına göre faturalandırılır
Metin dosyaları: sıkıştırılmamış boyuta göre ücret
İkili dosyalar: gözlenen boyuta göre ücret

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
Tetikleyici	Dosya stage'e iner	Uygulama satır yazar
Gecikme	Dakikalar	Saniyeler
Kullanım	Dosya tabanlı olay akışları	GPS, IoT, gerçek zamanlı uygulama verisi

Dosya sınırını tamamen kaldırır

Satırlar Streaming Ingest SDK ile doğrudan uygulamadan yazılır
Dosya yok, stage yok — gecikme saniyeler

# Snowpipe Streaming: application writes rows directly
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

Doğru Yükleme Yöntemini Seçme

Yükleme Yöntemleri

Yöntem	Ne zaman kullanılmalı
COPY INTO	Planlı toplu yükler: gece dosyaları, haftalık dışa aktarmalar; saatler düzeyinde gecikme kabul edilebilir
Snowpipe	Sürekli dosya gelişi; dakikalar içinde yüklemek gerekir
Snowpipe Streaming	Uygulama üretimli veri: GPS, IoT, finansal piyasalar; veriler saniyeler içinde hazır

¹ * Snowflake Öğrenim Kaynağı

Hadi pratik yapalım!

Snowflake'te Veri Pipeline'larını Otomatikleştirme