Validação de dados

Limpeza de dados com o PySpark

Mike Metzger

Data Engineering Consultant

Definição

Validação é:

Verificar se um conjunto de dados segue o formato esperado
Número de linhas/colunas
Tipos de dados
Regras de validação complexas

Validação via joins

Compara os dados com valores conhecidos
Facilita encontrar dados em um conjunto
Relativamente rápido

parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

Isso remove automaticamente quaisquer linhas com empresa que não esteja em valid_df!

Validação com regras complexas

Usando componentes do Spark para validar lógica:

Cálculos
Verificação contra fonte externa
Provavelmente usa uma UDF para modificar/verificar o DataFrame

Vamos praticar!

Limpeza de dados com o PySpark