इम्पोर्ट परफॉर्मेंस सुधारें

PySpark के साथ डेटा क्लीनिंग

Mike Metzger

Data Engineering Consultant

Spark क्लस्टर्स

Spark Clusters दो प्रकार की प्रक्रियाओं से बने होते हैं

महत्वपूर्ण पैरामीटर्स:

अच्छी तरह परिभाषित स्कीमा इम्पोर्ट परफॉर्मेंस को बहुत बढ़ाता है

OS युटिलिटीज़/स्क्रिप्ट्स का उपयोग करें (split, cut, awk)
```
split -l 10000 -d largefile chunk-
```
कस्टम स्क्रिप्ट्स का उपयोग करें

Parquet में लिखें

df_csv = spark.read.csv('singlelargefile.csv')
df_csv.write.parquet('data.parquet')
df = spark.read.parquet('data.parquet')

PySpark के साथ डेटा क्लीनिंग