Thao tác cột DataFrame có điều kiện

Làm sạch dữ liệu với PySpark

Mike Metzger

Data Engineering Consultant

Mệnh đề có điều kiện

Mệnh đề có điều kiện gồm:

  • Phiên bản nội tuyến của if / then / else
  • .when()
  • .otherwise()
Làm sạch dữ liệu với PySpark

Ví dụ có điều kiện

.when(<điều kiện if>, <thì x>)

df.select(df.Name, df.Age, F.when(df.Age >= 18, "Adult"))

Name Age
Alice 14
Bob 18 Adult
Candice 38 Adult
Làm sạch dữ liệu với PySpark

Ví dụ khác

Nhiều .when()

df.select(df.Name, df.Age, 
          .when(df.Age >= 18, "Adult")
          .when(df.Age < 18, "Minor"))
Name Age
Alice 14 Minor
Bob 18 Adult
Candice 38 Adult
Làm sạch dữ liệu với PySpark

Otherwise

.otherwise() giống else

df.select(df.Name, df.Age,
          .when(df.Age >= 18, "Adult")
          .otherwise("Minor"))
Name Age
Alice 14 Minor
Bob 18 Adult
Candice 38 Adult
Làm sạch dữ liệu với PySpark

Let's practice!

Làm sạch dữ liệu với PySpark

Preparing Video For Download...