Profil de requête, historique et Insights

Automatisation des pipelines de données dans Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Pourquoi le profil de requête

tableau de bord des opérations

Snowflake peut balayer des données qu’il ne devrait pas toucher

Ouvrir le profil de requête dans Snowsight

Comment accéder au profil de requête

Accès : Monitoring > Query History > [Select Query] > onglet Query Profile

Lire l’arbre des opérateurs

Profil de requête Snowsight montrant le graphe des opérateurs avec le panneau Nœuds les plus coûteux

Quatre problèmes courants révélés par Query Profile

Joins explosifs

Produisent plus de lignes qu’elles ne peuvent en consommer

Union sans ALL

Ajoute un agrégat au-dessus de votre UNION pour supprimer les doublons
Coût = temps ajouté

Débordement sur disque

Les opérateurs gourmands en mémoire manquent de mémoire
Ex. agrégations, tris ou gros joins

Élagage inefficace

Visible quand les partitions lues ≈ total des partitions
Les filtres ne fonctionnent pas bien

Débordement disque : local vs distant

Débordement local → SSD de l’entrepôt : plus lent que la mémoire, mais gérable
Débordement distant → stockage infonuagique : beaucoup plus lent; à corriger

Requête de diagnostic

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY : visibilité au niveau du compte

ACCOUNT_USAGE.QUERY_HISTORY : vue avec rétention de 365 jours
Fonction de table INFORMATION_SCHEMA.QUERY_HISTORY() avec rétention de 7 jours

Capture d’écran de l’exécution de l’historique des requêtes

Insights de requête : recommandations automatisées

recommandation des insights de requête

Passons à la pratique !

Automatisation des pipelines de données dans Snowflake