Snowpipe e Snowpipe Streaming

Automazione delle pipeline di dati in Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

Use case:

Gli eventi di consegna arrivano in continuo

Soluzione: Snowpipe

Snowpipe carica i dati dai file appena sono disponibili in uno stage.

Schermata 2026-05-11 alle 12.24.14

¹ * Snowflake Learning Material

Il problema del batch loading

I file arrivano su S3 ogni pochi minuti durante il giorno
COPY INTO pianificato a mezzanotte — 24 ore di ritardo
Le spedizioni in ritardo compaiono solo il giorno dopo
Snowpipe colma il gap

-- Batch notturno: gira a 00:00, i dati arrivano tutto il giorno
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- Un'eccezione delle 9 non comparirà fino a domani

Cos'è Snowpipe?

Incapsula un COPY INTO — stessa sintassi, stessi formati file
Si attiva automaticamente quando arrivano nuovi file in uno stage
Carica in micro-batch, tipicamente in pochi minuti
Serverless — nessun warehouse da predisporre

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Come funziona Snowpipe

Workflow di Snowpipe

AUTO_INGEST — event-driven; lo storage cloud pubblica una notifica
Amazon S3 | Azure Event Grid | GCP Pub/Sub
Trigger via REST API — chiama gli endpoint insertFiles o insertReport direttamente dall'orchestrazione

Fatturazione di Snowpipe

Schermata 2026-05-11 alle 12.24.14

Fatturazione con crediti fissi per GB consumato
File di testo: addebito sulla dimensione non compressa
File binari: addebito sulla dimensione osservata

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
Trigger	Il file arriva nello stage	Riga scritta dall'app
Latenza	Minuti	Secondi
Caso d'uso	Feed di eventi basati su file	GPS, IoT, dati app real-time

Rimuove del tutto il confine del file

Righe scritte direttamente dall'app tramite Streaming Ingest SDK
Niente file, niente stage — latenza in secondi

# Snowpipe Streaming: l'app scrive righe direttamente
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

Scegliere il metodo di ingestion giusto

Metodi di ingestion

Metodo	Quando usarlo
COPY INTO	Batch pianificati: file notturni, export settimanali; ore di latenza ok
Snowpipe	Arrivi continui di file; caricamenti entro pochi minuti dall'arrivo
Snowpipe Streaming	Dati generati da applicazioni: GPS, IoT, mercati finanziari; dati in pochi secondi

¹ * Snowflake Learning Resource

Passons à la pratique !

Automazione delle pipeline di dati in Snowflake