비정형 데이터

BigQuery 입문

Matt Forrest

Field CTO

비정형 데이터가 중요한 이유

비정형 데이터 예시:

/*--------------+-----------------------------------------*
 | customer_id  | emails                                  |
 +--------------+-----------------------------------------+
 | 12345        | ['[email protected]', '[email protected]']   |
 *--------------+-----------------------------------------*/

ARRAY

SELECT ARRAY
  (SELECT 'bigquery' UNION ALL
   SELECT 'analytics' UNION ALL
   SELECT 'sql') AS new_array;


/*------------------------------------*
 | new_array                           |
 +------------------------------------+
 | ['bigquery', 'analytics', 'sql']   |
 *-----------------------------------*/

SELECT ARRAY
  (SELECT 'bigquery' UNION ALL
   SELECT 'analytics' UNION ALL
   SELECT 'sql')[1] as result;


/*---------------*
 | result          |
 +---------------+
 | 'analytics'   |
 *---------------*/

STRUCT

SELECT
  STRUCT

  <skill string, learning bool>
  ('big query', true)    
  as skills;


/*--------------+--------------*
 | skills.skill | learning     |
 +--------------+------------- +
 | 'big query'  | true         |
 *--------------+--------------*/

SELECT
  STRUCT
  <skill string, learning bool>

  ('big query', true).skill    
  as key;


/*--------------+
 | key.         |
 +--------------+
 | 'big query'  |
 *--------------*/

ARRAY_LENGTH 및 ARRAY_CONCAT

SELECT
  ARRAY_LENGTH(
    [
      '[email protected]', 
      '[email protected]'
    ]) as len;

/*------*
 | len  |
 +------+
 | 2    |
 *------*/

SELECT
  ARRAY_CONCAT(
    ['one'], ['two']) as new_array;

/*-------------------*
 | new_array         |
 +-------------------+
 | ['one', 'two']    |
 *-------------------*/

UNNEST

이메일 데이터 Unnest 예시:

SELECT 
    * 
FROM
    UNNEST(['[email protected]', '[email protected]']) as emails;

/*-------------------+
 | emails            |
 +-------------------+
 | '[email protected]' |
 | '[email protected]'  |
 *-------------------*/

STRUCT와 함께 UNNEST

예제 데이터 - ARRAY 안의 STRUCT:

[
    {'big query': true},
    {'sql': true}
]

SELECT 
    my_skills.skill, 
    my_skills.learned
FROM 
    UNNEST(skills) as my_skills

/*--------------+--------------*
 | skill        | learned      |
 +--------------+------------- +
 | 'big query'  | true         |
 +--------------+------------- +
 | 'sql'        | true         |
 *--------------+--------------*/

SEARCH

이메일 데이터로 검색 사용:

SELECT 
    SEARCH(['[email protected]', '[email protected]'], 'gmail.com') as results;

/*----------*
 | results  |
 +----------+
 | true     |
 *----------*/

비정형 데이터 치트시트

ARRAY

순서가 있는 값의 목록과 유사
0부터 시작하는 인덱스로 접근(예: my_array[0])

STRUCT

JSON/딕셔너리와 유사
여러 타입의 필드를 가질 수 있음
같은 열의 모든 행은 동일한 구조여야 함

ARRAY_CONCAT/ARRAY_LENGTH

둘 이상 ARRAY를 이어 붙이고 길이 측정

UNNEST

ARRAY 데이터를 평탄화

SEARCH

ARRAY/STRUCT 전반에서 값 검색

연습해 봅시다!

BigQuery 입문