Fonctions définies par l'utilisateur

Nettoyer des données avec PySpark

Mike Metzger

Data Engineering Consultant

Définition…

User defined functions ou UDF

Méthode Python
Enrobée avec la méthode pyspark.sql.functions.udf
Stockée dans une variable
Appelée comme une fonction Spark normale

UDF de renversement de chaîne

Définir une méthode Python

def reverseString(mystr):
    return mystr[::-1]

Enrober la fonction et la stocker dans une variable

udfReverseString = udf(reverseString, StringType())

Utiliser avec Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Exemple sans argument

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Passons à la pratique !

Nettoyer des données avec PySpark