Валидация данных

Очистка данных с помощью PySpark

Mike Metzger

Data Engineering Consultant

Определение

Валидация — это:

Проверка соответствия набора данных ожидаемому формату
Количество строк / столбцов
Типы данных
Сложные правила валидации

Валидация через объединения

Сравнивает данные с известными значениями
Легко найти данные в заданном множестве
Относительно быстрый способ

parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

Это автоматически удаляет все строки с компанией, отсутствующей в valid_df!

Валидация сложных правил

Использование компонентов Spark для валидации логики:

Вычисления
Проверка по внешнему источнику
Как правило, используется UDF для изменения / проверки DataFrame

Давайте потренируемся!

Очистка данных с помощью PySpark