Opérations conditionnelles sur des colonnes de DataFrame

Nettoyer des données avec PySpark

Mike Metzger

Data Engineering Consultant

Clauses conditionnelles

Les clauses conditionnelles sont :

.when(<if condition>, <then x>)

df.select(df.Name, df.Age, F.when(df.Age >= 18, "Adult"))

Plusieurs .when()

df.select(df.Name, df.Age, 
          .when(df.Age >= 18, "Adult")
          .when(df.Age < 18, "Minor"))

.otherwise() est l'équivalent de else

df.select(df.Name, df.Age,
          .when(df.Age >= 18, "Adult")
          .otherwise("Minor"))

Nettoyer des données avec PySpark