PySpark परिचय

PySpark परिचय

Benjamin Schmidt

Data Engineer

अपने इंस्ट्रक्टर से मिलिए

  • PySpark के साथ लगभग एक दशक का डेटा अनुभव

  • PySpark का उपयोग Machine Learning, ETL कार्यों और बहुत कुछ के लिए

  • सभी के लिए नए टूल सिखाने के लिए उत्साही!

-Ben Schmidt

PySpark परिचय

PySpark क्या है?

  • वितरित डेटा प्रोसेसिंग: क्लस्टर्स में बड़े डेटासेट सँभालने के लिए डिज़ाइन किया गया

  • CSV, Parquet, और JSON सहित कई डेटा फ़ॉर्मैट सपोर्ट करता है

  • SQL इंटीग्रेशन से आप Python और SQL दोनों सिंटैक्स से क्वेरी कर सकते हैं

  • बड़े पैमाने पर स्पीड के लिए ऑप्टिमाइज़्ड

Data_ecosystem

PySpark परिचय

PySpark कब उपयोग करें?

  • Big data analytics

  • वितरित डेटा प्रोसेसिंग

  • रियल-टाइम डेटा स्ट्रीमिंग

  • बड़े डेटासेट पर Machine Learning

  • ETL और ELT पाइपलाइन्स

  • विविध डेटा सोर्स के साथ काम:

    1. CSV
    2. JSON
    3. Parquet
    4. और भी बहुत कुछ
PySpark परिचय

Spark क्लस्टर

मास्टर नोड

  • क्लस्टर मैनेज करता है, टास्क कॉर्डिनेट करता है, और जॉब्स शेड्यूल करता है

वर्कर नोड्स

  • मास्टर द्वारा असाइन किए गए टास्क चलाते हैं
  • वास्तविक कंप्यूटेशन चलाने और डेटा को मेमोरी या डिस्क पर स्टोर करने के लिए ज़िम्मेदार

Master node

Worker node

PySpark परिचय

SparkSession

  • SparkSessions आपको अपने Spark क्लस्टर तक पहुँच देती हैं और PySpark के लिए आवश्यक हैं.
# Import SparkSession
from pyspark.sql import SparkSession

# Initialize a SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

$$

  • .builder() सेशन सेट अप करता है
  • getOrCreate() सेशन बनाता या रिट्रीव करता है
  • .appName() कई सेशन्स मैनेज करने में मदद करता है
PySpark परिचय

PySpark DataFrames

  • अन्य DataFrames जैसे, पर
  • PySpark के लिए ऑप्टिमाइज़्ड
# Import and initialize a Spark session
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

# Create a DataFrame
census_df = spark.read.csv("census.csv",
                ["gender","age","zipcode","salary_range_usd","marriage_status"])

# Show the DataFrame
census_df.show()
PySpark परिचय

अभ्यास करते हैं!

PySpark परिचय

Preparing Video For Download...