DataFrame 열 조건부 연산

PySpark로 데이터 정제하기

Mike Metzger

Data Engineering Consultant

조건절

조건절은 다음과 같습니다:

  • if / then / else의 인라인 버전
  • .when()
  • .otherwise()
PySpark로 데이터 정제하기

조건 예시

.when(<if condition>, <then x>)

df.select(df.Name, df.Age, F.when(df.Age >= 18, "Adult"))

Name Age
Alice 14
Bob 18 Adult
Candice 38 Adult
PySpark로 데이터 정제하기

또 다른 예시

여러 번의 .when()

df.select(df.Name, df.Age, 
          .when(df.Age >= 18, "Adult")
          .when(df.Age < 18, "Minor"))
Name Age
Alice 14 Minor
Bob 18 Adult
Candice 38 Adult
PySpark로 데이터 정제하기

otherwise

.otherwise()else와 같습니다

df.select(df.Name, df.Age,
          .when(df.Age >= 18, "Adult")
          .otherwise("Minor"))
Name Age
Alice 14 Minor
Bob 18 Adult
Candice 38 Adult
PySpark로 데이터 정제하기

연습해 봅시다!

PySpark로 데이터 정제하기

Preparing Video For Download...