Профіль запиту, історія та Insights

Автоматизація конвеєрів даних у Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Навіщо Профіль запиту

operations_dashboard

  • Snowflake може сканувати дані, яких не слід торкатися взагалі
Автоматизація конвеєрів даних у Snowflake

Відкриття Query Profile у Snowsight

Як відкрити профіль запиту

Доступ: Monitoring > Query History > [Вибрати запит] > вкладка Query Profile

Автоматизація конвеєрів даних у Snowflake

Читання дерева операторів

Snowsight Query Profile з графом операторів і панеллю «Most Expensive Nodes»

Автоматизація конвеєрів даних у Snowflake

Чотири типові проблеми, що показує Query Profile

Роздуті з’єднання (Exploding Joins)

  • Створюють більше рядків, ніж споживають

Union без All

  • Додає Aggregate над UNION для видалення дублікатів
  • Вартість = додатковий час

Спіл на диск

  • Оператори, що інтенсивно споживають пам’ять, вичерпують її
  • Такі як Aggregates, Sorts або великі Joins

Неефективне обрізання (Pruning)

  • Видно, коли скановані секції ≈ загальній кількості
  • Фільтри працюють неефективно
Автоматизація конвеєрів даних у Snowflake

Спіл на диск: локальний vs віддалений

  • Локальний spill → SSD складу — повільніше за пам’ять, але прийнятно
  • Віддалений spill → хмарне сховище — значно повільніше; потребує уваги

Діагностичний запит

SELECT 
query_id,
bytes_spilled_to_local_storage,
bytes_spilled_to_remote_storage
FROM SNOWFLAKE.ACCOUNT_USAGE.QUERY_HISTORY
WHERE bytes_spilled_to_remote_storage > 0
ORDER BY bytes_spilled_to_remote_storage DESC
LIMIT 10;
Автоматизація конвеєрів даних у Snowflake

QUERY_HISTORY: видимість на рівні облікового запису

  • ACCOUNT_USAGE.QUERY_HISTORY — подання з утриманням 365 днів
  • INFORMATION_SCHEMA.QUERY_HISTORY() — таблична функція з утриманням 7 днів

Знімок екрана запуску історії запитів

Автоматизація конвеєрів даних у Snowflake

Query Insights: автоматичні рекомендації

рекомендація Query Insights

Автоматизація конвеєрів даних у Snowflake

Let's practice!

Автоматизація конвеєрів даних у Snowflake

Preparing Video For Download...