추출 변환 선택

Python에서 Spark SQL 입문

Mark Plutowski

Data Scientist

ETS

추출 변환 선택

추출, 변환, 선택

추출
변환
선택

내장 함수

from pyspark.sql.functions import split, explode

length 함수

from pyspark.sql.functions import length

df.where(length('sentence') == 0)

사용자 정의 함수 만들기

사용자 정의 함수
UDF

udf 함수 임포트하기

from pyspark.sql.functions import udf

불리언 UDF 만들기

print(df)

DataFrame[textdata: string]

from pyspark.sql.functions import udf

from pyspark.sql.types import BooleanType

불리언 UDF 만들기

short_udf = udf(lambda x: 
                          True if not x or len(x) < 10 else False, 
                          BooleanType())

df.select(short_udf('textdata')\
  .alias("is short"))\
  .show(3)

+--------+
|is short|
+--------+
|   false|
|    true|
|   false|
+--------+

주요 UDF 반환 타입

from pyspark.sql.types import StringType, IntegerType, FloatType, ArrayType

배열 UDF 만들기

df3.select('word array', in_udf('word array').alias('without endword'))\
   .show(5, truncate=30)

+-----------------------------+----------------------+
|                   word array|       without endword|
+-----------------------------+----------------------+
|[then, how, many, are, there]|[then, how, many, are]|
|                  [how, many]|                 [how]|
|             [i, donot, know]|            [i, donot]|
|                  [quite, so]|               [quite]|
|   [you, have, not, observed]|      [you, have, not]|
+-----------------------------+----------------------+

배열 UDF 만들기

from pyspark.sql.types import StringType, ArrayType

# Removes last item in array
in_udf = udf(lambda x: 
    x[0:len(x)-1] if x and len(x) > 1 
    else [], 
    ArrayType(StringType()))

희소 벡터 형식

인덱스
값

예시:

배열: [1.0, 0.0, 0.0, 3.0]
희소 벡터: (4, [0, 3], [1.0, 3.0])

벡터 데이터 다루기

hasattr(x, "toArray")
x.numNonzeros())

Lass uns üben!

Python에서 Spark SQL 입문