Queryprofiel, -geschiedenis en Insights

Automatisering van datapijplijnen in Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Waarom Query Profile

operations_dashboard

Snowflake scant mogelijk data die het niet hoeft te raken

Query Profile openen in Snowsight

Toegang tot queryprofiel

Ga naar: Monitoring > Query History > [Selecteer query] > Tab Query Profile

De operatortree lezen

Snowsight Query Profile met operatorgrafiek en Most Expensive Nodes-paneel

Vier veelvoorkomende problemen die Query Profile laat zien

Exploderende joins

Produceert meer rijen dan verbruikt kunnen worden

Union zonder ALL

Voegt een Aggregate boven je UNION toe om duplicaten te verwijderen
Kost = extra tijd

Spill naar schijf

Geheugenintensieve operators raken zonder geheugen
Operators zoals Aggregates, Sorts of grote joins.

Inefficiënte pruning

Zichtbaar als gescande partities bijna het totaal benaderen
Filters werken niet effectief

Spill naar schijf: lokaal vs extern

Lokale spill → warehouse-SSD - trager dan geheugen, maar oké
Externe spill → cloudopslag - veel trager; moet worden aangepakt

Diagnostische query

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY: zicht op het hele account

ACCOUNT_USAGE.QUERY_HISTORY - view met 365 dagen retentie
INFORMATION_SCHEMA.QUERY_HISTORY() table function met 7 dagen retentie

Screenshot van het uitvoeren van querygeschiedenis

Query Insights: automatische aanbevelingen

query insights aanbeveling

Laten we oefenen!

Automatisering van datapijplijnen in Snowflake