Fungsi yang ditentukan pengguna

Membersihkan Data dengan PySpark

Mike Metzger

Data Engineering Consultant

Didefinisikan...

User defined functions atau UDF

Metode Python
Dibungkus via metode pyspark.sql.functions.udf
Disimpan sebagai variabel
Dipanggil seperti fungsi Spark biasa

UDF pembalik string

Definisikan metode Python

def reverseString(mystr):
    return mystr[::-1]

Bungkus fungsi dan simpan sebagai variabel

udfReverseString = udf(reverseString, StringType())

Gunakan dengan Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Contoh tanpa argumen

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Ayo berlatih!

Membersihkan Data dengan PySpark