Snowpipe a Snowpipe Streaming

Automatizace datových pipeline ve Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Snowpipe

Případ použití:

Doručovací události přicházejí průběžně

Řešení: Snowpipe

Snowpipe načítá data ze souborů, jakmile jsou dostupné ve stage.

Snímek obrazovky 2026-05-11 ve 12.24.14.png

¹ * Snowflake Learning Material

Problém dávkového načítání

Soubory přicházejí do S3 každých několik minut po celý den
Plánovaný COPY INTO se spustí o půlnoci — zpoždění 24 hodin
Zpožděné zásilky se zobrazí až následující den.
Snowpipe tento rozdíl odstraňuje

-- Nightly batch: runs at 00:00, data arrives all day
COPY INTO logistics.delivery_events
FROM @harbr_s3_stage/events/
FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');
-- A 9am exception won't appear until tomorrow

Co je Snowpipe?

Obaluje příkaz COPY INTO — stejná syntaxe, stejné formáty souborů
Spustí se automaticky, jakmile ve stage přibude nový soubor
Načítá v mikrodávkách, obvykle do několika minut
Bezserverový — není třeba zřizovat warehouse

CREATE PIPE harbr_events_pipe AS
  COPY INTO logistics.delivery_events
  FROM @harbr_s3_stage/events/
  FILE_FORMAT = (FORMAT_NAME = 'harbr_json_format');

Jak funguje Snowpipe

Pracovní postup Snowpipe

AUTO_INGEST — řízeno událostmi; cloudové úložiště zveřejní notifikaci
Amazon S3 | Azure Event Grid | GCP Pub/Sub
Spouštěč REST API — volání endpointů insertFiles nebo insertReport přímo z kódu orchestrace

Fakturace Snowpipe

Snímek obrazovky 2026-05-11 ve 12.24.14.png

Účtováno fixním počtem kreditů za spotřebované GB
Textové soubory: poplatek dle nekomprimované velikosti
Binární soubory: poplatek dle skutečné velikosti

Snowpipe Streaming

	Snowpipe	Snowpipe Streaming
Spouštěč	Soubor dorazí do stage	Řádek zapsaný aplikací
Latence	Minuty	Sekundy
Použití	Souborové datové toky	GPS, IoT, data v reálném čase

Odstraňuje hranici souboru úplně

Řádky zapisuje přímo aplikace přes Streaming Ingest SDK
Žádné soubory, žádné stage — latence v sekundách

# Snowpipe Streaming: application writes rows directly
channel = client.openChannel('GPS_CHANNEL', 'LOGISTICS', 'GPS_EVENTS')
channel.insertRows(rows=[
    {'vehicle_id': 'V001', 'lat': 51.5, 'lng': -0.12, 'ts': now()}
])

Výběr správné metody příjmu dat

Metody příjmu dat

Metoda	Kdy použít
COPY INTO	Plánované dávkové načítání – noční soubory, týdenní exporty, latence v řádu hodin
Snowpipe	Průběžný příjem souborů, načtení do minut od doručení
Snowpipe Streaming	Data generovaná aplikacemi – GPS, IoT, finanční trhy – dostupná během sekund

¹ * Snowflake Learning Resource

Pojďme procvičovat!

Automatizace datových pipeline ve Snowflake