반정형 데이터 평탄화

Snowflake의 데이터 타입과 함수

Jake Roach

Field Data Engineer

정형 데이터

     school_id  |    school_name    |  street_number  |  street_name  |  suffix   |      city      |  zip_code
    ----------- | ----------------- | --------------- | ------------- | --------- | -------------- | ----------
      s_19219   |  West Aurora HS   |       879       |    Main       |    St.    |  West Aurora   |   25041
      s_77465   |  Springtown HS    |      1645       |    Cherry     |    Rd.    |  Springtown    |   14556

     school_id  |                address_info        
    ----------- | ------------------------------------------
      s_19219   |    {
                |        "school_name": "West Aurora HS",
                |        "address": {
                |            "street_number": 879,
                |            "street_name": "Main",
                |            "suffix":  "St."
                |            "city": "West Aurora",
                |            "zip_code": 25041
                |        }
                |    }

반정형 데이터

중괄호로 키-값 쌍을 저장한 데이터는 VARIANT 타입입니다

{
    "school_name": "West Aurora HS",
    "address": {  -- Nested object
        "street_number": 879,
        "street_name": "Main",
        "suffix": "St.",
        "city": "West Aurora",
        "zip_code": 25041
    }
}

Python 딕셔너리 또는 JSON 객체와 유사
데이터를 "원시" 형식으로 저장 가능
address처럼 객체를 중첩
두 가지 방식으로 조회 가능

점 표기법

                  my_column  
 -------------------------------------------
        {
            "my_first_key": 2025,
            "my_second_key": {
                "a": "alpha",
                "b": "bravo"
            }
        }

SELECT

    my_column:my_first_key         -- 최상위

    my_column:my_second_key.a   -- 중첩
    my_column:my_second_key.b   -- 중첩

...

VARIANT에서 최상위와 중첩 값을 쉽게 조회합니다

콜론으로 <column-name>:<top-level-key> 구분
뒤에 .와 중첩 필드 추가: <column-name>:<top-level-key>.<nested-key>
깊게 중첩된 값도 조회

점 표기법

SELECT
    address_info:school_name,                              -- 최상위, 점 표기법

    address_info:address.street_number AS street_number,   -- 중첩, 점 표기법
    address_info:address.street_name AS street_name,
    address_info:address.suffix AS suffix

FROM SCHOOLS.school_info;

              school_name    |  street_number  |  street_name  |  suffix  
           ----------------- | --------------- | ------------- | ---------
            West Aurora HS   |       879       |    Main       |    St.   
            Springtown HS    |      1645       |    Cherry     |    Rd.

대괄호 표기법

최상위와 중첩 값을 조회하는 추가 기법을 제공합니다

<column-name>['<top-level-key']['...']
다중 중첩 레이어
Python 딕셔너리에서 값 조회와 유사
반드시 작은따옴표(') 사용!

                    my_column  
 ------------------------------------------------
          {
              "my_first_key": 2025,
               my_second_key": {
                  "a": "alpha",
                  "b": "bravo"
              }
          }

SELECT

    my_column['my_first_key'],       -- 최상위

    my_column['my_second_key']['a']   -- 중첩
    my_column['my_second_key']['b']   -- 중첩

...

대괄호 표기법

SELECT

    address_info['school_name'],                      -- 최상위, 대괄호 표기법


    address_info['address']['city'] AS city,           -- 중첩, 대괄호 표기법
    address_info['address']['zip_code'] AS zip_code


FROM SCHOOLS.school_info;

                     school_name    |      city      |  zip_code
                  ----------------- | -------------- | ----------
                   West Aurora HS   |  West Aurora   |   25041
                   Springtown HS    |  Springtown    |   14556

반정형 데이터 변환

SELECT
    school_id,

    address_info:school_name AS school_name,               -- 최상위, 점 표기법

    address_info:address.street_number AS street_number,   -- 중첩, 점 표기법
    address_info:address.street_name AS street_name,
    address_info:address.suffix AS suffix,

    address_info['address']['city'] AS city,               -- 중첩, 대괄호 표기법
    address_info['address']['zip_code'] AS zip_code

FROM SCHOOLS.school_info;

반정형 데이터 변환

     school_id  |                address_info        
    ----------- | ------------------------------------------
      s_19219   |    {
                |        "school_name": "West Aurora HS",
                |        "address": {
                |            "street_number": 879,
                |            "street_name": "Main",
                |            "suffix":  "St."
                |            "city": "West Aurora",
                |            "zip_code": 25041
                |        }
                |    }

     school_id  |    school_name    |  street_number  |  street_name  |  suffix   |      city      |  zip_code
    ----------- | ----------------- | --------------- | ------------- | --------- | -------------- | ----------
      s_19219   |  West Aurora HS   |       879       |    Main       |    St.    |  West Aurora   |   25041
      s_77465   |  Springtown HS    |      1645       |    Cherry     |    Rd.    |  Springtown    |   14556

연습해 봅시다!

Snowflake의 데이터 타입과 함수