Profil de requête, historique et Insights

Automatisation des pipelines de données dans Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Pourquoi le Query Profile

tableau de bord des opérations

Snowflake peut scanner des données qu’il ne devrait pas toucher

Ouvrir le Query Profile dans Snowsight

Comment ouvrir le profil de requête

Accès via : Monitoring > Query History > [Sélectionner la requête] > Onglet Query Profile

Lire l’arbre des opérateurs

Profil de requête Snowsight affichant le graphe des opérateurs avec le panneau Nœuds les plus coûteux

Quatre problèmes courants révélés par Query Profile

Joins explosifs

Produisent plus de lignes qu’ils ne peuvent en consommer

Union sans ALL

Ajoute un Aggregate au-dessus du UNION pour supprimer les doublons
Coût = temps ajouté

Débordement sur disque

Les opérateurs gourmands en mémoire en manquent
Ex. Aggregates, Sorts ou gros Joins

Élagage inefficace

Visible quand les partitions lues ≈ total des partitions
Les filtres fonctionnent mal

Débordement disque : local vs distant

Débordement local → SSD du warehouse - plus lent que la mémoire, mais gérable
Débordement distant → stockage cloud - bien plus lent ; à corriger

Requête de diagnostic

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY : visibilité au niveau du compte

ACCOUNT_USAGE.QUERY_HISTORY - vue avec rétention 365 jours
Fonction table INFORMATION_SCHEMA.QUERY_HISTORY() avec rétention 7 jours

Capture d’écran d’un historique de requêtes en cours d’exécution

Query Insights : recommandations automatiques

recommandation d’Insights de requête

Passons à la pratique !

Automatisation des pipelines de données dans Snowflake