Snowpipe und Snowpipe Streaming

Automatisierung von Datenpipelines in Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

Use Case:

Liefer-Events kommen kontinuierlich an

Lösung: Snowpipe

Snowpipe lädt Dateien, sobald sie in einer Stage verfügbar sind.

Screenshot 11.05.2026, 12:24:14 PM

¹ * Snowflake Learning Material

Das Problem mit Batch-Loading

Dateien treffen den ganzen Tag über alle paar Minuten in S3 ein
Geplantes COPY INTO läuft um Mitternacht — 24 Stunden Verzögerung
Verspätete Sendungen erscheinen erst am Folgetag.
Snowpipe schließt die Lücke

-- Nightly batch: runs at 00:00, data arrives all day
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- A 9am exception won't appear until tomorrow

Was ist Snowpipe?

Umhüllt ein COPY INTO — gleiche Syntax, gleiche Dateiformate
Löst automatisch aus, wenn neue Dateien in einer Stage ankommen
Lädt in Mikrobatches, meist innerhalb von Minuten
Serverless — kein Warehouse bereitzustellen

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Wie Snowpipe funktioniert

Ablauf für Snowpipe

AUTO_INGEST — ereignisgesteuert; Cloud-Storage sendet eine Benachrichtigung
Amazon S3 | Azure Event Grid | GCP Pub/Sub
REST-API-Trigger — insertFiles- oder insertReport-Endpunkte direkt aus Orchestrierungscode aufrufen

Snowpipe-Abrechnung

Screenshot 11.05.2026, 12:24:14 PM

Abrechnung: fester Credit-Betrag pro verbrauchtem GB
Textdateien: Abrechnung nach unkomprimierter Größe
Binärdateien: Abrechnung nach beobachteter Größe

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
Auslöser	Datei landet in Stage	Zeile wird von App geschrieben
Latenz	Minuten	Sekunden
Use Case	Dateibasierte Event-Feeds	GPS, IoT, Realtime-App-Daten

Entfernt die Dateigrenze vollständig

Zeilen direkt aus der Anwendung über das Streaming Ingest SDK schreiben
Keine Dateien, keine Stages — Latenz in Sekunden

# Snowpipe Streaming: application writes rows directly
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

Die richtige Ingestion-Methode wählen

Ingestion-Methoden

Methode	Wann verwenden
COPY INTO	Geplante Batches: nächtliche Dateien, wöchentliche Exporte, Stunden Latenz ok
Snowpipe	Kontinuierliche Dateieingänge, Laden binnen Minuten nötig
Snowpipe Streaming	App-generierte Daten – GPS, IoT, Finanzmärkte – Daten in Sekunden verfügbar

¹ * Snowflake Learning Resource

Lass uns üben!

Automatisierung von Datenpipelines in Snowflake