不可變與延遲處理

使用 PySpark 清理資料

Mike Metzger

Data Engineering Consultant

變數複習

Python 變數：

不可變變數：

定義新的資料框：

voter_df = spark.read.csv('voterdata.csv')

進行變更：

voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)

voter_df = voter_df.drop(voter_df.year)

voter_df = voter_df.withColumn('fullyear', 
    voter_df.year + 2000)
voter_df = voter_df.drop(voter_df.year)

voter_df.count()

使用 PySpark 清理資料