Агрегирование данных с разной гранулярностью

Оптимизация запросов в PostgreSQL

Amy McCarty

Instructor

Гранулярность данных — уровень детализации

Делает строку уникальной
1+ столбцов

Video_Games

id	game	first_yr
012	Grand Theft Auto	1997
234	Legend of Zelda	1986

Game_Platforms

game_id	platform	year
234	FCDS	1986
234	GameCube	2003
234	Wii	2006

Объединение таблиц с разной гранулярностью

Запись Legend of Zelda из таблицы Video_Games связана со всеми 3 записями в таблице Games_Platforms.

SELECT g.id, g.game, g.first_yr
  , COUNT(p.platform) AS no_platforms
  , MAX(p.year) AS last_platform_yr
  , p.platform
FROM video_games g
INNER JOIN game_platforms p
  ON g.id = p.game_id
GROUP BY g.id, g.game, g.first_yr
, p.platform

Объединение таблиц с разной гранулярностью

Вывод

id	game	first_yr	no_platforms	last_platform_yr	platform
234	Legend of Zelda	1986	3	2006	FCDS
234	Legend of Zelda	1986	3	2006	GameCube
234	Legend of Zelda	1986	3	2006	Wii

Подготовка к изменению гранулярности

Game_Platforms

game_id	platform	year
234	FCDS	1986
234	GameCube	2003
234	Wii	2006

Подготовка к изменению гранулярности

SELECT game_id, platform, year
  , COUNT(platform) AS no_platforms
  , MAX(year) AS last_platform_yr
FROM game_platforms
GROUP BY game_id, platform, year

Вывод

game_id	platform	year	no_platforms	last_platform_yr
234	FCDS	1986	3	2006
234	GameCube	2003	3	2006
234	Wii	2006	3	2006

Повторяем CTE

Отдельный запрос с временным набором результатов
Оператор WITH

WITH cte AS
  ( SELECT * FROM tableA )

SELECT * FROM cte

Позволяет выполнить агрегирование до объединения

CTE приходят на помощь

WITH platforms_cte AS 
(  SELECT game_id, platform, year
      , COUNT(platform) AS no_platforms
      , MAX(year) AS last_platform_yr
   FROM game_platforms
   GROUP BY game_id, platform, year )

SELECT g.id, g.game, cte.no_platforms
  , cte.platform AS last_platform
FROM video_games g
INNER JOIN platforms_cte cte 
  ON g.id = cte.game_id
  AND cte.last_platform_yr = cte.year

CTE приходят на помощь

WITH platforms_cte AS 
(  SELECT game_id, platform, year
      , COUNT(platform) AS no_platforms
      , MAX(year) AS last_platform_yr
   FROM game_platforms
   GROUP BY game_id, platform, year )

SELECT g.id, g.game, cte.no_platforms
  , cte.platform AS last_platform
FROM video_games g
INNER JOIN platforms_cte cte 
  ON g.id = cte.game_id
  AND cte.last_platform_yr = cte.year

Вывод

id	game	no_platforms	last_platform
234	Legend of Zelda	3	Wii

Согласование гранулярности при объединении

Без повторов и дублирований
Минимально необходимые результаты
Без двойного подсчёта

Давайте потренируемся!

Оптимизация запросов в PostgreSQL