Користувацькі функції

Очищення даних у PySpark

Mike Metzger

Data Engineering Consultant

Визначення...

Користувацькі функції або UDF

Метод Python
Обгортається методом pyspark.sql.functions.udf
Зберігається як змінна
Викликається як звичайна функція Spark

UDF для реверсу рядка

Визначте метод Python

def reverseString(mystr):
    return mystr[::-1]

Обгорніть функцію та збережіть як змінну

udfReverseString = udf(reverseString, StringType())

Використовуйте зі Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Приклад без аргументів

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Давайте потренуємось!

Очищення даних у PySpark