Validarea datelor

Curățarea datelor cu PySpark

Mike Metzger

Data Engineering Consultant

Definiție

Validarea presupune:

Verificarea conformității unui set de date cu formatul așteptat
Numărul de rânduri / coloane
Tipuri de date
Reguli complexe de validare

Validare prin join-uri

Compară datele cu valori cunoscute
Ușor de găsit datele într-un set dat
Relativ rapid

parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

Aceasta elimină automat orice rânduri cu o companie absentă din valid_df!

Validarea regulilor complexe

Utilizarea componentelor Spark pentru validarea logicii:

Calcule
Verificare față de o sursă externă
Folosește de obicei un UDF pentru a modifica / verifica DataFrame-ul

Să exersăm!

Curățarea datelor cu PySpark