Оконные функции

Автоматизация конвейеров данных в Snowflake

Emily Melhuish

Technical Curriculum Developer, Snowflake

Что такое оконная функция?

Вычисления по строкам без их объединения

Вычисляет результат для каждой строки на основе набора соседних строк — её окна
В отличие от GROUP BY: каждая строка на входе остаётся на выходе
Задаётся с помощью предложения OVER

3 основные категории:

Ранжирование: ROW_NUMBER(), RANK(), DENSE_RANK()
Агрегация: SUM(), AVG(), COUNT() with OVER()
Навигация: LAG(), LEAD(), FIRST_VALUE(), LAST_VALUE()

Подробнее — в курсе DataCamp Window Functions in Snowflake

Предложение OVER()

SELECT shipment_id
, region
, delivery_days
, AVG(delivery_days) 
    OVER ( PARTITION BY region ORDER BY dispatched_at ) AS avg_days_in_region 
FROM shipments;

SHIPMENT_ID	REGION	DELIVERY_DAYS	RUNNING_AVG_DAYS_IN_REGION
SHP-001	EMEA	3	3.00
SHP-002	EMEA	5	4.00
SHP-003	EMEA	4	4.00
SHP-004	APAC	6	6.00

ROW_NUMBER vs RANK vs DENSE_RANK

SELECT
    shipment_id AS shipment, delivery_days AS days,
    ROW_NUMBER() OVER (ORDER BY delivery_days) AS row_number,
    RANK()       OVER (ORDER BY delivery_days) AS rank,
    DENSE_RANK() OVER (ORDER BY delivery_days) AS dense_rank
FROM shipments ORDER BY delivery_days;

SHIPMENT	DELIVERY_DAYS	ROW_NUMBER	RANK	DENSE_RANK
SHP-001	3	1	1	1
SHP-002	5	2	2	2
SHP-003	5	3	2	2
SHP-004	7	4	4	3

LAG и LEAD

Входные данные

Входные данные SQL LAG и LEAD

Результат

Результат LAG и LEAD

Нарастающие итоги и скользящие средние

Фреймы ROWS и RANGE

ROWS BETWEEN: считает физические позиции строк — точные смещения независимо от значений

-- ROWS: always picks exactly N preceding physical rows
SUM(credits) OVER (ORDER BY month ROWS BETWEEN 2 PRECEDING AND CURRENT ROW)
-- Includes current row and two preceding

RANGE BETWEEN: использует значения, группируя строки с одинаковым значением ORDER BY

-- RANGE: includes all rows tied at the boundary value
SUM(credits) OVER (ORDER BY month RANGE BETWEEN 2 PRECEDING AND CURRENT ROW)

Используйте Range только тогда, когда логика основана на границах значений

Lass uns üben!

Автоматизация конвейеров данных в Snowflake