데이터 검증

PySpark로 데이터 정제하기

Mike Metzger

Data Engineering Consultant

정의

검증이란:

  • 데이터셋이 기대 형식을 준수하는지 확인
  • 행/열 개수
  • 데이터 타입
  • 복잡한 검증 규칙
PySpark로 데이터 정제하기

조인을 통한 검증

  • 알려진 값과 비교
  • 주어진 집합에서 데이터 찾기 쉬움
  • 비교적 빠름
parsed_df = spark.read.parquet('parsed_data.parquet')
company_df = spark.read.parquet('companies.parquet')
verified_df = parsed_df.join(company_df, parsed_df.company == company_df.company)

이렇게 하면 valid_df에 없는 회사가 있는 행은 자동으로 제거됩니다!

PySpark로 데이터 정제하기

복잡 규칙 검증

Spark 구성요소로 로직 검증:

  • 계산
  • 외부 소스와 대조
  • DataFrame 수정/검증에 UDF 사용 가능성 높음
PySpark로 데이터 정제하기

실습해 봅시다!

PySpark로 데이터 정제하기

Preparing Video For Download...