Оконные функции (WINDOW)

Введение в BigQuery

Matthew Forrest

Field CTO

Что такое WINDOW-функции

Иллюстрация окна с накопительной суммой SUM

Когда использовать WINDOW-функции

WINDOW-функции, сгруппированные по типу

¹ https://towardsdatascience.com/a-guide-to-advanced-sql-window-functions-f63f2642cbf9

Структура WINDOW, PARTITION и ORDER BY

SELECT
  customer_id,
  order_date,
  order_total,
  ROW_NUMBER() OVER(

    PARTITION BY customer_id

    ORDER BY order_date

  ) AS order_sequence
FROM orders;

ROW_NUMBER(): оконная функция, возвращающая номер строки
OVER(): определяет оконный фрейм
PARTITION BY customer_id: группирует данные по клиенту
ORDER BY order_date: сортирует данные внутри каждой секции
order_sequence: результат работы оконной функции

RANK и PERCENT_RANK

SELECT
  product_id,
  product_photos_qty,
  -- Ordinal rank for each row
  RANK() OVER(
    ORDER BY product_photos_qty DESC
  ) as rank,
  -- Percentile rank for each row
  PERCENT_RANK() OVER(
    ORDER BY product_photos_qty
  ) as percent
FROM ecommerce.ecomm_products 
ORDER BY product_photos_qty DESC;

Результаты запроса с RANK и PERCENT_RANK

LAG и LEAD

SELECT
  product_id,
  -- Returns value from previous row
  LAG(product_photos_qty) OVER(
    ORDER BY product_photos_qty
  ) as lag,
  product_photos_qty,
  -- Returns value from next row
  LEAD(product_photos_qty) OVER(
    ORDER BY product_photos_qty
  ) as lead
FROM ecommerce.ecomm_products 
ORDER BY product_photos_qty DESC;

Результаты запроса с LAG и LEAD

RANGE BETWEEN и CURRENT ROW

SELECT
  order_id,
  order_timestamp,
  SUM(cost) OVER(
    ORDER BY order_timestamp 
    ROWS BETWEEN 2 PRECEDING 
    AND CURRENT ROW) as rolling_avg
FROM sales_data
ORDER BY order_timestamp

Варианты ограничения по строкам:

UNBOUNDED PRECEDING: все строки до текущей
UNBOUNDED FOLLOWING: все строки после текущей
[INT] ROWS PRECEDING: заданное число строк до
[INT] ROWS FOLLOWING: заданное число строк после

QUALIFY

SELECT
  product_id,
  product_photos_qty,
  RANK() OVER(
    ORDER BY product_photos_qty DESC
  ) as rank
FROM ecommerce.ecomm_products 
-- Filter using QUALIFY
QUALIFY rank < 4
ORDER BY product_photos_qty DESC;

Результаты запроса с QUALIFY для значений с рангом не выше 3

HAVING не подходит, так как агрегация не выполняется

Давайте потренируемся!

Введение в BigQuery