Funcții definite de utilizator

Curățarea datelor cu PySpark

Mike Metzger

Data Engineering Consultant

Definite...

Funcțiile definite de utilizator sau UDF-uri

Metodă Python
Încapsulate prin metoda pyspark.sql.functions.udf
Stocate ca variabilă
Apelate ca o funcție Spark obișnuită

UDF pentru inversarea șirurilor

Definirea unei metode Python

def reverseString(mystr):
    return mystr[::-1]

Încapsularea funcției și stocarea ca variabilă

udfReverseString = udf(reverseString, StringType())

Utilizare cu Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Exemplu fără argumente

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Să exersăm!

Curățarea datelor cu PySpark