Пользовательские функции

Очистка данных с помощью PySpark

Mike Metzger

Data Engineering Consultant

Определение...

Пользовательские функции (UDF)

Метод Python
Обёртывается через метод pyspark.sql.functions.udf
Сохраняется как переменная
Вызывается как обычная функция Spark

UDF для переворота строки

Определяем метод Python

def reverseString(mystr):
    return mystr[::-1]

Оборачиваем функцию и сохраняем как переменную

udfReverseString = udf(reverseString, StringType())

Используем в Spark

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

Пример без аргументов

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

Давайте потренируемся!

Очистка данных с помощью PySpark