Snowpipe dan Snowpipe Streaming

Otomatisasi Data Pipeline di Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

Use case:

Peristiwa pengiriman datang terus-menerus

Solusi: Snowpipe

Snowpipe memuat data dari file segera setelah tersedia di stage.

Tangkapan layar 2026-05-11 pukul 12.24.14 siang.png

¹ * Materi Pembelajaran Snowflake

Masalah pada Pemrosesan Batch

File masuk ke S3 tiap beberapa menit sepanjang hari
COPY INTO terjadwal berjalan tengah malam — jeda 24 jam
Pengiriman terlambat baru muncul keesokan hari.
Snowpipe menutup celah tersebut

-- Batch malam: berjalan 00:00, data masuk sepanjang hari
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- Kejadian 9 pagi baru terlihat besok

Apa itu Snowpipe?

Membungkus pernyataan COPY INTO — sintaks sama, format file sama
Terpicu otomatis saat file baru tiba di stage
Memuat dalam mikro-batch, biasanya dalam menit
Tanpa server (serverless) — tidak perlu menyiapkan warehouse

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Cara Kerja Snowpipe

Alur kerja Snowpipe

AUTO_INGEST — berbasis event; penyimpanan cloud menerbitkan notifikasi
Amazon S3 | Azure Event Grid | GCP Pub/Sub
Pemicu REST API — panggil endpoint insertFiles atau insertReport langsung dari orkestrasi

Penagihan Snowpipe

Tangkapan layar 2026-05-11 pukul 12.24.14 siang.png

Ditagihkan berdasarkan kredit tetap per GB yang dikonsumsi
File teks: biaya berdasarkan ukuran tidak terkompresi
File biner: biaya berdasarkan ukuran teramati

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
Pemicu	File masuk ke stage	Baris ditulis oleh aplikasi
Latensi	Menit	Detik
Use case	Umpan peristiwa berbasis file	GPS, IoT, data aplikasi real-time

Menghapus batas file sepenuhnya

Baris ditulis langsung dari aplikasi via Streaming Ingest SDK
Tanpa file, tanpa stage — latensi dalam detik

# Snowpipe Streaming: aplikasi menulis baris langsung
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

Memilih Metode Ingesti yang Tepat

Metode Ingesti

Metode	Kapan digunakan
COPY INTO	Muatan batch terjadwal - file malam, ekspor mingguan, latensi jam masih ok
Snowpipe	File datang terus-menerus, perlu dimuat dalam menit setelah tiba
Snowpipe Streaming	Data dari aplikasi - GPS, IoT, pasar keuangan - data tersedia dalam detik

¹ * Sumber Belajar Snowflake

Ayo berlatih!

Otomatisasi Data Pipeline di Snowflake