Profilul, Istoricul și Perspectivele Interogărilor

Automatizarea pipeline-urilor de date în Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

De ce Query Profile

tabloul de bord operațional

Snowflake poate scana date pe care nu ar trebui să le acceseze

Deschiderea Query Profile în Snowsight

Cum se accesează Query Profile

Acces prin: Monitoring > Query History > [Selectați interogarea] > Fila Query Profile

Citirea Arborelui de Operatori

Query Profile în Snowsight cu graful operatorilor și panoul Cele mai costisitoare noduri

Patru probleme frecvente dezvăluite de Query Profile

Joinuri explosive

Produce mai multe rânduri decât poate consuma

UNION fără ALL

Adaugă un Aggregate deasupra UNION pentru eliminarea duplicatelor
Cost = timp suplimentar

Deversare pe disc

Operatorii cu consum mare de memorie rămân fără memorie
Operatori precum Aggregate, Sort sau Joinuri mari

Pruning ineficient

Vizibil când partițiile scanate sunt aproape de totalul partițiilor
Filtrele nu funcționează eficient

Deversare pe Disc: Local vs. La Distanță

Deversare locală → SSD warehouse - mai lentă decât memoria, dar gestionabilă
Deversare la distanță → stocare cloud - mult mai lentă; trebuie remediată

Interogare de diagnosticare

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;

QUERY_HISTORY: Vizibilitate la Nivel de Cont

ACCOUNT_USAGE.QUERY_HISTORY - vizualizare cu retenție de 365 de zile
INFORMATION_SCHEMA.QUERY_HISTORY() funcție tabelară cu retenție de 7 zile

Captură de ecran cu istoricul interogărilor executate

Query Insights: Recomandări Automate

recomandare din Query Insights

Să exersăm!

Automatizarea pipeline-urilor de date în Snowflake