PySpark로 데이터 정제하기
Mike Metzger
Data Engineering Consultant
조건절은 다음과 같습니다:
.when().otherwise().when(<if condition>, <then x>)
df.select(df.Name, df.Age, F.when(df.Age >= 18, "Adult"))
| Name | Age | |
|---|---|---|
| Alice | 14 | |
| Bob | 18 | Adult |
| Candice | 38 | Adult |
여러 번의 .when()
df.select(df.Name, df.Age,
.when(df.Age >= 18, "Adult")
.when(df.Age < 18, "Minor"))
| Name | Age | |
|---|---|---|
| Alice | 14 | Minor |
| Bob | 18 | Adult |
| Candice | 38 | Adult |
.otherwise()는 else와 같습니다
df.select(df.Name, df.Age,
.when(df.Age >= 18, "Adult")
.otherwise("Minor"))
| Name | Age | |
|---|---|---|
| Alice | 14 | Minor |
| Bob | 18 | Adult |
| Candice | 38 | Adult |
PySpark로 데이터 정제하기