Funções definidas pelo usuário

Limpeza de dados com o PySpark

Mike Metzger

Data Engineering Consultant

Definição...

Funções definidas pelo usuário (UDFs)

Método Python
Envolvido via o método pyspark.sql.functions.udf
Armazenado em uma variável
Chamado como uma função normal do Spark

UDF para inverter string

Defina um método Python

def reverseString(mystr):
    return mystr[::-1]

Empacote a função e guarde em uma variável

udfReverseString = udf(reverseString, StringType())

Use com Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Exemplo sem argumentos

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Vamos praticar!

Limpeza de dados com o PySpark