एडवांस्ड DataFrame ऑपरेशंस

PySpark परिचय

Ben Schmidt

Data Engineer

PySpark में Joins

कॉमन कॉलम्स के आधार पर दो या अधिक DataFrames की रो मिलाएँ
जॉइन के प्रकार: inner, left, right, और outer, SQL जैसे
सिंटैक्स: DataFrame1.join(DataFrame2, on="column", how="join_type")

# id कॉलम पर inner join
df_joined = df1.join(df2, on="id", how="inner")


# अलग नाम वाले कॉलम्स पर join
df_joined = df1.join(df2, 
               df1.Id == df2.Name, 
               "inner")

Union ऑपरेशन

समान स्कीमा वाले दो DataFrames की रो को मिलाता है
सिंटैक्स: DataFrame1.union(DataFrame2)

# समान स्कीमा वाले दो DataFrames का union
df_union = df1.union(df2)

Arrays और Maps के साथ कार्य

Arrays: कॉलम के अंदर लिस्ट स्टोर करने के लिए उपयोगी, सिंटैक्स: ArrayType(StringType(),False)`

from pyspark.sql.functions import array, struct, lit

# एक array कॉलम बनाएँ
df = df.withColumn("scores", array(lit(85), lit(90), lit(78)))

Maps: key-value पेयर्स, dictionary जैसी डेटा के लिए, MapType(StringType(),StringType())

from pyspark.sql.types import StructField, StructType, StringType, MapType

schema = StructType([
    StructField('name', StringType(), True),
    StructField('properties', MapType(StringType(), StringType()), True)
])

Structs के साथ कार्य

Structs: रो के अंदर nested स्ट्रक्चर बनाएँ। सिंटैक्स: StructType(Structfield, Datatype())

# एक struct कॉलम बनाएँ
df = df.withColumn("name_struct", struct("first_name", "last_name"))

# एक struct कॉलम बनाएँ
df = df.withColumn("name_struct", struct("first_name", "last_name"))

अभ्यास करते हैं!

PySpark परिचय