PySpark로 데이터 정제하기
Mike Metzger
Data Engineering Consultant
검증이란:
parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)
이렇게 하면 valid_df에 없는 회사가 있는 행은 자동으로 제거됩니다!
Spark 구성요소로 로직 검증:
PySpark로 데이터 정제하기