समस्या को परिभाषित करना

PySpark के साथ Feature Engineering

John Hogue

Lead Data Scientist, General Mills

आपकी समस्या क्या है?

घर की बिक्री कीमत का अनुमान लगाएँ

  • दिए गए हैं लिस्टेड प्राइस और फीचर्स
    • $X$, स्वतंत्र 'ज्ञात' वैरिएबल्स
  • घर कितने में खरीदें
    • $Y$, आश्रित 'अज्ञात' वैरिएबल
    • SALESCLOSEPRICE

बिक्री के लिए घर

PySpark के साथ Feature Engineering

हमारे रियल एस्टेट का संदर्भ और सीमाएँ

  • St Paul, MN क्षेत्र में बिके घर
    • कई उपनगर शामिल हैं
  • रियल एस्टेट प्रकार
    • Residential-Single
    • Residential-Multi-Family
  • पूरा वर्ष का डेटा
    • सीजनैलिटी का प्रभाव

St Paul, MN

PySpark के साथ Feature Engineering

कौन-कौन से एट्रिब्यूट उपलब्ध हैं?

  • तिथियाँ
    • Date Listed
    • Year Built
  • स्थान
    • City
    • School District
    • Address
  • आकार
    • # बेडरूम और बाथरूम
    • लिविंग एरिया
  • कीमत
    • List Price
    • Sales Closing Price
  • सुविधाएँ
    • पूल
    • फायरप्लेस
    • गैराज
  • निर्माण सामग्री
    • साइडिंग
    • रूफिंग
PySpark के साथ Feature Engineering

अपने डेटा लोड को वैलिडेट करना

  • रो काउंट के लिए DataFrame.count()
df.count()

5000
  • कॉलम सूची के लिए DataFrame.columns
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • कॉलम की संख्या के लिए DataFrame.columns की लंबाई
len(df.columns)

74
PySpark के साथ Feature Engineering

डेटा टाइप्स जाँचना

DataFrame.dtypes

  • कॉलम और उनके डेटा टाइप्स के ट्यूपल्स की सूची बनाता है
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
PySpark के साथ Feature Engineering

अभ्यास करते हैं!

PySpark के साथ Feature Engineering

Preparing Video For Download...