การวิเคราะห์และนำเสนอผลขั้นสุดท้าย

การทำความสะอาดข้อมูลด้วย PySpark

Mike Metzger

Data Engineering Consultant

การคำนวณเชิงวิเคราะห์ (UDF)

การคำนวณด้วย UDF

def getAvgSale(saleslist):
  totalsales = 0
  count = 0
  for sale in saleslist:
    totalsales += sale[2] + sale[3]
    count += 2
  return totalsales / count

udfGetAvgSale = udf(getAvgSale, DoubleType())
df = df.withColumn('avg_sale', udfGetAvgSale(df.sales_list))

การคำนวณเชิงวิเคราะห์ (inline)

การคำนวณแบบ Inline

df = df.read.csv('datafile')

df = df.withColumn('avg', (df.total_sales / df.sales_count))

df = df.withColumn('sq_ft', df.width * df.length)

df = df.withColumn('total_avg_size', udfComputeTotal(df.entries) / df.numEntries)

มาฝึกกันเถอะ!

การทำความสะอาดข้อมูลด้วย PySpark