शुरुआत कहाँ से करें

PySpark के साथ Feature Engineering

John Hogue

Lead Data Scientist, General Mills

सीधे विश्लेषण में कूदना

यहाँ दैत्य हैं

दैत्य

अपने वर्ज़न जाँचें!

  # return spark version
  spark.version

  # return python version
  import sys
  sys.version_info

डेटा Parquet में दिया गया है

कॉलम-वार स्टोरेज
- कॉलम सबसेट क्वेरी तेज़
स्ट्रक्चर्ड, परिभाषित स्कीमा
- फ़ील्ड और डेटा टाइप तय
- गंदे टेक्स्ट डेटा के लिए बढ़िया
इंडस्ट्री अपनाया हुआ
- यह स्किल काफ़ी काम की है! 😃

Parquet फ़ाइल फॉर्मेट

PySpark read मेथड्स

# JSON
spark.read.json('example.json')

# CSV या delimited फ़ाइलें
spark.read.csv('example.csv')

# Parquet
spark.read.parquet('example.parq')

# एक parquet फ़ाइल को PySpark DataFrame में पढ़ें
df = spark.read.parquet('example.parq')

PySpark के साथ Feature Engineering