Query Profile, historik och insikter

Automatisering av datapipelines i Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Varför Query Profile?

operations_dashboard

Snowflake kan skanna data som inte borde beröras alls

Öppna Query Profile i Snowsight

Hur man öppnar Query Profile

Åtkomst via: Monitoring > Query History > [Välj fråga] > Query Profile-fliken

Läsa operatörsträdet

Snowsight Query Profile med operatörsdiagram och panelen Most Expensive Nodes

Fyra vanliga problem som Query Profile avslöjar

Explosiva joins

Producerar fler rader än de kan konsumera

UNION utan ALL

Lägger till ett aggregat ovanför UNION för att ta bort dubbletter
Kostnad = ökad körningstid

Disk-spill

Minnesintensiva operatorer överskrider tillgängligt minne
Gäller t.ex. aggregat, sorteringar eller stora joins.

Ineffektiv pruning

Synligt när antal skannade partitioner ligger nära totalt antal
Filter fungerar inte effektivt

Disk-spill: lokalt vs. fjärr

Lokal spill → lagrets SSD – långsammare än minne, men hanterbart
Fjärrspill → molnlagring – mycket långsammare; måste åtgärdas

Diagnostikfråga

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY: synlighet för hela kontot

ACCOUNT_USAGE.QUERY_HISTORY – vy med 365 dagars kvarhållning
INFORMATION_SCHEMA.QUERY_HISTORY() – tabellfunktion med 7 dagars kvarhållning

Skärmbild av körning av frågehistorik

Query Insights: automatiserade rekommendationer

Rekommendation i Query Insights

Dags att öva!

Automatisering av datapipelines i Snowflake