시계열 데이터에 통계 집계 함수 적용하기

PostgreSQL을 활용한 시계열 분석

Jasmin Ludolf

Content Developer, DataCamp

통계 집계

집계 함수: MIN(), MAX(), SUM(), AVG(), COUNT()
통계 집계: 평균과 중앙값

분석 및 통계 시각화 자료가 있는 보드 주위에 네 사람이 모여 있는 그림입니다.

평균 계산하기

SELECT
  AVG(views)::INTEGER as avg_views
  title
FROM dc_news_fact
JOIN dc_news_dim USING(id)
GROUP BY title
ORDER BY avg_views DESC;

|avg_views|title                      |
|---------|---------------------------|
|      207|For the Wealthiest, a Pr...|
|       12|Pet surrenders on rise a...|
|       12|Argentina's New Presiden...|
|        7|These 5 charts prove tha...|
|        7|How Is the Economy Doing...|

하루 평균 조회수

WITH day_views AS (
  SELECT id, ts::DATE AS date, SUM(views) AS views
  FROM dc_news_fact
  GROUP BY id, date
)
SELECT
  AVG(views)::INTEGER AS avg
  title
FROM day_views JOIN dc_news_dim USING(id)
GROUP BY title
ORDER BY avg DESC;

하루 평균 조회수

| avg|title                                                            |
|----|-----------------------------------------------------------------|
|9855|For the Wealthiest, a Private Tax System That Saves Them Billions|
| 579|Pet surrenders on rise as Fort McMurray's economy falls          |
| 574|Argentina's New President Moves Swiftly to Shake Up the Economy  |
| 352|How Is the Economy Doing? Politics May Decide Your Answer        |
| 348|These 5 charts prove that the economy does better under ...      |

하루 평균 조회수

SELECT
  (SUM(views)/COUNT(DISTINCT ts::DATE))::INTEGER as avg,
  title
FROM dc_news_fact JOIN dc_news_dim USING(id)
GROUP BY title 
ORDER BY avg DESC;

|avg |title                                                            |
|----|-----------------------------------------------------------------|
|9855|For the Wealthiest, a Private Tax System That Saves Them Billions|
| 579|Pet surrenders on rise as Fort McMurray's economy falls          |
| 574|Argentina's New President Moves Swiftly to Shake Up the Economy  |
...

이산 중앙값과 연속 중앙값

이산 중앙값(Discrete median): 중간값에 가장 가까운 첫 번째 값
연속 중앙값(Continuous median): 데이터셋을 절반으로 나누는 값

요소 개수가 홀수인 경우

수열 = (1, 2, 3, 4, 5)
이산 중앙값 = 3
연속 중앙값 = 3

요소 개수가 짝수인 경우

수열 = (1, 2, 3, 4)
이산 중앙값 = 2
연속 중앙값 = 2.5

순서 집합 집계 함수

PERCENTILE_DISC()
PERCENTILE_CONT()
순서 집합 집계 함수(Ordered-set aggregate functions): PERCENTILE_DISC(fraction) WITHIN GROUP (ORDER BY field)

SELECT
  PERCENTILE_CONT(0.5) WITHIN GROUP
  (ORDER BY value) AS median_cont,
  PERCENTILE_DISC(0.5) WITHIN GROUP
  (ORDER BY value) AS median_disc
FROM
(
  VALUES
  (1,1), (1,2), (1,3), (1,4), (1,5),
  (2,1), (2,5), (2,7), (2,11), (2,11)
) AS t (id, value)
GROUP BY id;

순서 집합 집계 함수

|median_cont|median_disc|
|-----------|-----------|
|        3.0|          3|
|        7.0|          7|

중앙값, 분위수, 백분위수, 사분위수

중앙값(Median)은 백분위수(Percentile)의 한 종류입니다
백분위수(Percentile)는 분위수(Quantile)의 한 종류입니다

분위수(Quantile): 표본을 거의 동일한 크기의 하위 집합으로 나눕니다
- 사분위수(네 개의 하위 집합)
- 십분위수(열 개의 하위 집합)

사분위수 계산하기

SELECT
  PERCENTILE_DISC(0.25) WITHIN GROUP (ORDER BY value) AS ptile_25,
  PERCENTILE_DISC(0.5) WITHIN GROUP (ORDER BY value) AS ptile_50,
  PERCENTILE_DISC(0.75) WITHIN GROUP (ORDER BY value) AS ptile_75
FROM
(
  VALUES 
  (1,1), (1,2), (1,3), (1,4), (1,5)
) AS t (id, value)
GROUP BY id;

|ptile_25|ptile_50|ptile_75|
|--------|--------|--------|
|       2|       3|       4|

이산 사분위수 배열 계산하기

SELECT
  PERCENTILE_DISC(ARRAY[0.25, 0.5, 0.75]) 
  WITHIN GROUP (ORDER BY value) AS median_disc
FROM (
  VALUES
  (1,1), (1,2), (1,3), (1,4), (1,5) )
  AS t (id, value)
GROUP BY id;

|median_disc|
|-----------|
|{2,3,4}    |

연습해 봅시다!

PostgreSQL을 활용한 시계열 분석