การทำความสะอาดข้อมูลด้วย PySpark
Mike Metzger
Data Engineering Consultant
อ่านไฟล์ Parquet
df = spark.read.format('parquet').load('filename.parquet')
df = spark.read.parquet('filename.parquet')
เขียนไฟล์ Parquet
df.write.format('parquet').save('filename.parquet')
df.write.parquet('filename.parquet')
ใช้ Parquet เป็นที่เก็บข้อมูลสำหรับการดำเนินการ SparkSQL
flight_df = spark.read.parquet('flights.parquet')
flight_df.createOrReplaceTempView('flights')
short_flights_df = spark.sql('SELECT * FROM flights WHERE flightduration < 100')
Preparing Video For Download...
