Parquet 이해하기

PySpark로 데이터 정제하기

Mike Metzger

Data Engineering Consultant

CSV 파일의 어려움

Parquet 파일 읽기

df = spark.read.format('parquet').load('filename.parquet')

df = spark.read.parquet('filename.parquet')

Parquet 파일 쓰기

df.write.format('parquet').save('filename.parquet')

df.write.parquet('filename.parquet')

SparkSQL 연산의 저장소로 Parquet 사용

flight_df = spark.read.parquet('flights.parquet')

flight_df.createOrReplaceTempView('flights')

short_flights_df = spark.sql('SELECT * FROM flights WHERE flightduration < 100')

PySpark로 데이터 정제하기