Hàm do người dùng định nghĩa

Làm sạch dữ liệu với PySpark

Mike Metzger

Data Engineering Consultant

Định nghĩa...

User defined functions (UDFs)

Phương thức Python
Gói bằng pyspark.sql.functions.udf
Lưu vào biến
Gọi như hàm Spark thông thường

UDF đảo chuỗi

Định nghĩa một phương thức Python

def reverseString(mystr):
    return mystr[::-1]

Gói hàm và lưu vào một biến

udfReverseString = udf(reverseString, StringType())

Dùng với Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Ví dụ không có đối số

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Hãy thực hành!

Làm sạch dữ liệu với PySpark