Validace dat

Cleaning Data with PySpark

Mike Metzger

Data Engineering Consultant

Definice

Validace je:

Ověření, že datová sada splňuje očekávaný formát
Počet řádků / sloupců
Datové typy
Složitá validační pravidla

Validace pomocí joinů

Porovnává data se známými hodnotami
Snadné vyhledávání dat v dané sadě
Relativně rychlé

parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

Tím se automaticky odstraní všechny řádky se společností, která není v valid_df!

Validace složitých pravidel

Validace logiky pomocí komponent Sparku:

Výpočty
Ověření proti externímu zdroji
Obvykle využívá UDF pro úpravu / ověření DataFrame

Pojďme si procvičit!

Cleaning Data with PySpark