Användardefinierade funktioner

Datarensning med PySpark

Mike Metzger

Data Engineering Consultant

Definierade...

Användardefinierade funktioner eller UDF:er

Python-metod
Omsluts via metoden pyspark.sql.functions.udf
Lagras som en variabel
Anropas som en vanlig Spark-funktion

UDF för omvänd sträng

Definiera en Python-metod

def reverseString(mystr):
    return mystr[::-1]

Omslut funktionen och lagra som en variabel

udfReverseString = udf(reverseString, StringType())

Använd med Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Exempel utan argument

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Nu kör vi en övning!

Datarensning med PySpark