Snowflake'te Veri Pipeline'larını Otomatikleştirme
Emily Melhuish
Technical Curriculum Developer, Snowflake
Dinamik tablolar:

Streams ve tasks:

Bildirim temelli hat otomasyonu
SELECT sorgusuyla tanımlanır — sonucu betimleyin, Snowflake yenilemeyi yönetirCREATE DYNAMIC TABLE logistics.delivery_summary
TARGET_LAG = '1 hour'
WAREHOUSE = harbr_wh
AS
SELECT region, COUNT(*) AS shipments,
AVG(delivery_days) AS avg_days
FROM logistics.shipments GROUP BY region;
Siz ve Snowflake arasındaki tazelik sözleşmesi
| TARGET_LAG değeri | Etki |
|---|---|
'5 minutes' |
Tablo en fazla 5 dakikalık gecikmede olur – sık yenilenir |
'1 hour' |
Daha seyrek yenilenir – daha düşük hesaplama maliyeti |
DOWNSTREAM |
Gecikmeyi aşağı akış bağımlılardan çıkarır – zincirli tablolar için idealdir |
Artımlı yenileme
-- Artımlı dostu:
SELECT region, COUNT(*) AS shipments
FROM logistics.shipments
GROUP BY region;
Tam yenileme

DOWNSTREAM gecikmesi, bir sonraki tablonun ihtiyacına uyar – gereksiz yenileme yokDinamik tablolar: bildirime dayalı
-- Sonucu Snowflake'e bildir
CREATE DYNAMIC TABLE logistics.summary
TARGET_LAG = '1 hour'
WAREHOUSE = harbr_wh
AS SELECT region, COUNT(*)
FROM shipments
GROUP BY 1;
Streams + Tasks: buyurgan
-- Her adımı siz kontrol edersiniz
CREATE TASK process_events
SCHEDULE = '5 MINUTE'
WHEN SYSTEM$STREAM_HAS_DATA
('events_stream')
AS CALL logistics.process_new_events();
SELECT name, state, refresh_start_time, refresh_end_time
FROM TABLE (
INFORMATION_SCHEMA.DYNAMIC_TABLE_REFRESH_HISTORY (
NAME_PREFIX => 'HARBR_DB.DELIVERY_SUMMARY.', ERROR_ONLY => TRUE
)
)
ORDER BY name, data_timestamp;
| NAME | TRIGGER | STATE | START | END |
|---|---|---|---|---|
| DELIVERY_SUMMARY | SCHEDULED | SUCCEEDED | 2026-03-01 05:00:00 | 2024-03-01 05:00:08 |
| DELIVERY_SUMMARY | SCHEDULED | FAILED | 2026-03-01 04:00:00 | 2024-03-01 04:00:03 |
Snowflake'te Veri Pipeline'larını Otomatikleştirme