ปรับปรุงประสิทธิภาพการนำเข้าข้อมูล

การทำความสะอาดข้อมูลด้วย PySpark

Mike Metzger

Data Engineering Consultant

Spark clusters

Spark Clusters ประกอบด้วยกระบวนการ 2 ประเภท

พารามิเตอร์สำคัญ:

การกำหนด schema ที่ชัดเจนช่วยเพิ่มประสิทธิภาพการนำเข้าข้อมูลได้อย่างมาก

ใช้ยูทิลิตีของ OS / สคริปต์ (split, cut, awk)
```
split -l 10000 -d largefile chunk-
```
ใช้สคริปต์ที่เขียนเอง

เขียนออกเป็น Parquet

df_csv = spark.read.csv('singlelargefile.csv')
df_csv.write.parquet('data.parquet')
df = spark.read.parquet('data.parquet')

การทำความสะอาดข้อมูลด้วย PySpark