Funkcje zdefiniowane przez użytkownika

Czyszczenie danych w PySpark

Mike Metzger

Data Engineering Consultant

Definicja...

Funkcje zdefiniowane przez użytkownika (UDF)

Metoda Pythona
Opakowywana metodą pyspark.sql.functions.udf
Przechowywana jako zmienna
Wywoływana jak zwykła funkcja Spark

UDF odwracający ciąg znaków

Zdefiniuj metodę Pythona

def reverseString(mystr):
    return mystr[::-1]

Opakuj funkcję i zapisz jako zmienną

udfReverseString = udf(reverseString, StringType())

Użyj w Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Przykład bez argumentów

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Czas na ćwiczenia!

Czyszczenie danych w PySpark