NTILE과 CUME_DIST

Snowflake의 Window 함수

Jake Roach

Field Data engineer

행을 버킷으로 나누기

적절한 수업을 홍보하기 위해 회원을 운동 기록으로 어떻게 분류할 수 있을까요?

             member_id  |  gym_location  |  calories_burned  |  marketing_group
            ----------- | -------------- | ----------------- | -----------------
               m_192    |    Miami       |         45        |         1
               m_74     |    Miami       |         59        |         1
               m_233    |    Portland    |         60        |         1

               m_14     |    Cleveland   |         72        |         2
               m_346    |    Portland    |         77        |         2
               m_289    |    Cleveland   |         81        |         2

               m_565    |    Miami       |        1085       |         50
                                        ...

NTILE

SELECT
    <fields>,
    <2>,
    <1>,


    NTILE(<n>) OVER(
        PARTITION BY <2>
        ORDER BY <1>
    )


...;

NTILE은 동일 크기의 버킷 N개를 만듭니다

<n>: 버킷 개수

<1>: 버킷을 만들 기준 필드

<2>: PARTITION BY로 레코드를 균등 분배할 필드

피트니스 데이터 버킷팅

SELECT
    member_id,
    gym_location,
    calories_burned,

    -- 동일 크기의 50개 버킷 생성

    NTILE(50) OVER(
        ORDER BY calories_burned   -- 각 버킷의 레코드 결정
    ) AS marketing_group


FROM FITNESS.workouts
ORDER BY marketing_group, calories_burned;  -- 최종 결과 정렬

피트니스 데이터 버킷팅

         member_id  |  gym_location  |  calories_burned  |  marketing_group
        ----------- | -------------- | ----------------- | -----------------
           m_192    |    Miami       |         45        |         1
           m_74     |    Miami       |         59        |         1
           m_233    |    Portland    |         60        |         1

           m_14     |    Cleveland   |         72        |         2
           m_346    |    Portland    |         77        |         2
           m_289    |    Cleveland   |         81        |         2

           m_565    |    Miami       |        1085       |         50
                                        ...

피트니스 데이터의 균등 분할 버킷

SELECT
    member_id,
    gym_location,
    calories_burned,

    NTILE(50) OVER(

        -- gym_location별로 레코드를 균등하게 버킷에 분배
        PARTITION BY gym_location

        ORDER BY calories_burned
    ) AS marketing_group

FROM FITNESS.workouts
ORDER BY marketing_group, calories_burned;

피트니스 데이터의 균등 분할 버킷

         member_id  |  gym_location  |  calories_burned  |  marketing_group
        ----------- | -------------- | ----------------- | -----------------
           m_192    |    Miami       |         45        |         1
           m_233    |    Portland    |         60        |         1
           m_14     |    Cleveland   |         72        |         1

           m_74     |    Miami       |         59        |         2
           m_346    |    Portland    |         77        |         2
           m_289    |    Cleveland   |         81        |         2

                                    ...

분포 이해하기

각 회원의 운동별 칼로리 소모 분포는 어떻습니까?

특정 운동은 이 분포에서 어디에 위치합니까?

특정 회원보다 같거나 적은 칼로리를 소모한 회원 비율은 얼마입니까?

  member_id  |  cals_burned  |   cd   
 ----------- | ------------- | ------
    m_192    |       45      |  .016
    m_74     |       59      |  .033
    m_233    |       60      |  .049
    m_14     |       72      |  .066
    m_346    |       77      |  .082
    m_289    |       81      |  .098

                    ....

    m_565    |      1085     |  1.000

CUME_DIST

SELECT
    member_id,
    gym_location,
    calories_burned,

    CUME_DIST() OVER(
        PARTITION BY gym_location,   -- 위치별로 분포 생성
        ORDER BY calories_burned
    ) AS cd

FROM FITNESS.workouts

ORDER BY gym_location, cd;  -- 최종 결과 정렬

CUME_DIST

SELECT
    <fields>,
    <1>,
    <2>,


    CUME_DIST() OVER(
        PARTITION BY <1>
        ORDER BY <2>
    )


...;

각 레코드를 해당 열/필드의 분포와 비교, 누적 분포

<1>: 평가할 윈도우를 결정하는 필드

<2>: 분포를 만들 필드

이 레코드 이하(≤)인 비율은?

CUME_DIST

               member_id  |  gym_location  | calories_burned  |   cd   
              ----------- | -------------- | ---------------- | -------
                 m_192    |    Miami       |        45        |  .033
                 m_74     |    Miami       |        59        |  .066
                 m_288    |    Miami       |        83        |  .098
                 m_541    |    Miami       |        85        |  .131

                                          ...

                 m_233    |    Portland    |        60        |  .071
                 m_346    |    Portland    |        77        |  .142

                                          ...

연습해 봅시다!

Snowflake의 Window 함수