Profilo query, cronologia e Insights

Automazione delle pipeline di dati in Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Perché il Query Profile

dashboard delle operazioni

Snowflake potrebbe scansionare dati che non dovrebbe toccare

Aprire il Query Profile in Snowsight

Come accedere al query profile

Accesso da: Monitoring > Query History > [Seleziona query] > scheda Query Profile

Leggere l'albero degli operatori

Snowsight Query Profile con grafo operatori e pannello "Most Expensive Nodes"

Quattro problemi comuni rivelati dal Query Profile

Join esplosivi

Producono più righe di quante si consumano

Union senza ALL

Aggiunge un Aggregate sopra UNION per rimuovere i duplicati
Costo = tempo aggiuntivo

Spill su disco

Operatori che consumano molta memoria restano senza RAM
Come Aggregate, Sort o Join grandi

Pruning inefficiente

Visibile quando le partizioni scansionate sono vicine al totale
I filtri non funzionano bene

Spill su disco: locale vs remoto

Spill locale → SSD del warehouse - più lento della RAM, ma gestibile
Spill remoto → storage cloud - molto più lento; va risolto

Query diagnostica

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY: visibilità a livello account

ACCOUNT_USAGE.QUERY_HISTORY - vista con retention di 365 giorni
Funzione tabellare INFORMATION_SCHEMA.QUERY_HISTORY() con retention di 7 giorni

Screenshot dell'esecuzione della cronologia query

Query Insights: raccomandazioni automatiche

raccomandazione di Query Insights

Passiamo alla pratica!

Automazione delle pipeline di dati in Snowflake