사용자 정의 함수

PySpark로 데이터 정제하기

Mike Metzger

Data Engineering Consultant

정의...

사용자 정의 함수 또는 UDF

Python 메서드
pyspark.sql.functions.udf로 래핑
변수로 저장
일반 Spark 함수처럼 호출

문자열 뒤집기 UDF

Python 메서드 정의

def reverseString(mystr):
    return mystr[::-1]

함수를 래핑해 변수로 저장

udfReverseString = udf(reverseString, StringType())

Spark에서 사용

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

인자 없는 예시

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

연습해 봅시다!

PySpark로 데이터 정제하기