Validasi data

Membersihkan Data dengan PySpark

Mike Metzger

Data Engineering Consultant

Definisi

Validasi adalah:

Memastikan himpunan data sesuai format yang diharapkan
Jumlah baris/kolom
Tipe data
Aturan validasi kompleks

Validasi via join

Membandingkan data dengan nilai yang sudah dikenal
Memudahkan pencarian data dalam suatu himpunan
Relatif cepat

parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

Ini secara otomatis menghapus baris dengan perusahaan yang tidak ada di valid_df!

Validasi aturan kompleks

Menggunakan komponen Spark untuk memvalidasi logika:

Perhitungan
Verifikasi terhadap sumber eksternal
Biasanya memakai UDF untuk memodifikasi/memverifikasi DataFrame

Ayo berlatih!

Membersihkan Data dengan PySpark