ฟังก์ชันที่ผู้ใช้กำหนดเอง

การทำความสะอาดข้อมูลด้วย PySpark

Mike Metzger

Data Engineering Consultant

การกำหนด...

ฟังก์ชันที่ผู้ใช้กำหนดเอง หรือ UDF

เมธอดใน Python
ครอบด้วยเมธอด pyspark.sql.functions.udf
เก็บไว้ในตัวแปร
เรียกใช้เหมือนฟังก์ชัน Spark ทั่วไป

UDF กลับสตริง

กำหนดเมธอด Python

def reverseString(mystr):
    return mystr[::-1]

ครอบฟังก์ชันและเก็บเป็นตัวแปร

udfReverseString = udf(reverseString, StringType())

ใช้งานกับ Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

ตัวอย่างฟังก์ชันไม่มีอาร์กิวเมนต์

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

มาฝึกกันเถอะ!

การทำความสะอาดข้อมูลด้วย PySpark