Perfil de Consulta, Histórico e Insights

Automação de Pipelines de Dados no Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Por que usar Query Profile

painel_de_operacoes

O Snowflake pode estar varrendo dados que nem deveria tocar

Abrindo o Query Profile no Snowsight

Como acessar o query profile

Acesse via: Monitoring > Query History > [Selecione a consulta] > Aba Query Profile

Lendo a árvore de operadores

Snowsight Query Profile mostrando grafo de operadores com painel de nós mais caros

Quatro problemas comuns revelados pelo Query Profile

Joins explosivos

Produzem mais linhas do que conseguem consumir

Union sem All

Adiciona um Aggregate acima do UNION para remover duplicatas
Custo = mais tempo

Spill em disco

Operadores que usam muita memória ficam sem memória
Como Aggregates, Sorts ou Joins grandes.

Pruning ineficiente

Visível quando partições lidas ≈ total de partições
Filtros não estão funcionando bem

Spill em Disco: Local vs. Remoto

Spill local → SSD do warehouse - mais lento que memória, mas ok
Spill remoto → storage na nuvem - bem mais lento; precisa ser tratado

Consulta de diagnóstico

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY: Visão de conta inteira

ACCOUNT_USAGE.QUERY_HISTORY - view com retenção de 365 dias
Função de tabela INFORMATION_SCHEMA.QUERY_HISTORY() com retenção de 7 dias

Captura de tela de histórico de consultas sendo executado

Query Insights: Recomendações automáticas

recomendação do Query Insights

Vamos praticar!

Automação de Pipelines de Dados no Snowflake