Funzioni definite dall’utente

Pulizia dei dati con PySpark

Mike Metzger

Data Engineering Consultant

Definizione...

User Defined Functions o UDF

Metodo Python
Incapsulato con pyspark.sql.functions.udf
Salvato in una variabile
Chiamato come una normale funzione Spark

UDF per invertire stringhe

Definisci un metodo Python

def reverseString(mystr):
    return mystr[::-1]

Wrappa la funzione e salvala in una variabile

udfReverseString = udf(reverseString, StringType())

Usala con Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Esempio senza argomenti

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Let's practice!

Pulizia dei dati con PySpark