Automatyzacja potoków danych w Snowflake
Emily Melhuish
Technical Curriculum Developer, Snowflake
Tabele dynamiczne:

Strumienie i zadania:

Deklaratywna automatyzacja potoku
SELECT — opisujemy wynik, Snowflake zarządza odświeżaniemCREATE DYNAMIC TABLE logistics.delivery_summary
TARGET_LAG = '1 hour'
WAREHOUSE = harbr_wh
AS
SELECT region, COUNT(*) AS shipments,
AVG(delivery_days) AS avg_days
FROM logistics.shipments GROUP BY region;
Kontrakt świeżości między użytkownikiem a Snowflake
| Wartość TARGET_LAG | Efekt |
|---|---|
'5 minutes' |
Tabela ma maksymalnie 5 minut opóźnienia — częste odświeżenia |
'1 hour' |
Rzadsze odświeżenia — mniejsze zużycie zasobów |
DOWNSTREAM |
Opóźnienie wynika z zależności poniżej — idealne dla łańcuchów tabel |
Odświeżanie przyrostowe
-- Incremental-friendly:
SELECT region, COUNT(*) AS shipments
FROM logistics.shipments
GROUP BY region;
Pełne odświeżanie

DOWNSTREAM dostosowuje się do potrzeb następnej tabeli — bez nadmiarowych odświeżeńTabele dynamiczne: deklaratywne
-- Declare the result for Snowflake
CREATE DYNAMIC TABLE logistics.summary
TARGET_LAG = '1 hour'
WAREHOUSE = harbr_wh
AS SELECT region, COUNT(*)
FROM shipments
GROUP BY 1;
Strumienie i zadania: imperatywne
-- You control every step
CREATE TASK process_events
SCHEDULE = '5 MINUTE'
WHEN SYSTEM$STREAM_HAS_DATA
('events_stream')
AS CALL logistics.process_new_events();
SELECT name, state, refresh_start_time, refresh_end_time
FROM TABLE (
INFORMATION_SCHEMA.DYNAMIC_TABLE_REFRESH_HISTORY (
NAME_PREFIX => 'HARBR_DB.DELIVERY_SUMMARY.', ERROR_ONLY => TRUE
)
)
ORDER BY name, data_timestamp;
| NAME | TRIGGER | STATE | START | END |
|---|---|---|---|---|
| DELIVERY_SUMMARY | SCHEDULED | SUCCEEDED | 2026-03-01 05:00:00 | 2024-03-01 05:00:08 |
| DELIVERY_SUMMARY | SCHEDULED | FAILED | 2026-03-01 04:00:00 | 2024-03-01 04:00:03 |
Automatyzacja potoków danych w Snowflake