Spark SQL परिचय

PySpark परिचय

Benjamin Schmidt

Data Engineer

Spark SQL क्या है

Apache Spark का मॉड्यूल जो structured डेटा प्रोसेसिंग के लिए है
डेटा प्रोसेसिंग टास्क के साथ SQL क्वेरी चलाने देता है
एक ही एप्लिकेशन में Python और SQL का सहज संयोजन

DataFrame इंटरफेसिंग: structured डेटा तक प्रोग्रामेटिक एक्सेस देता है

टेम्प टेबल बनाना

# Initialize Spark session
spark = SparkSession.builder.appName("Spark SQL Example").getOrCreate()

# Sample DataFrame
data = [("Alice", "HR", 30), ("Bob", "IT", 40), ("Cathy", "HR", 28)]
columns = ["Name", "Department", "Age"]
df = spark.createDataFrame(data, schema=columns)

# Register DataFrame as a temporary view
df.createOrReplaceTempView("people")

# Query using SQL
result = spark.sql("SELECT Name, Age FROM people WHERE Age > 30")
result.show()

Temp views को और गहराई से

Temp Views के साथ एनालिटिक्स करते समय underlying डेटा सुरक्षित रहता है
CSV से लोड करना वही methods यूज़ करता है जो आप जानते हैं
```
df = spark.read.csv("path/to/your/file.csv", header=True, inferSchema=True)
```

# Register DataFrame as a temporary view
df.createOrReplaceTempView("employees")

SQL और DataFrame ऑपरेशन को मिलाना

# SQL query result
query_result = spark.sql("SELECT Name, Salary FROM employees WHERE Salary > 3000")

# DataFrame transformation
high_earners = query_result.withColumn("Bonus", query_result.Salary * 0.1)
high_earners.show()

अभ्यास करते हैं!

PySpark परिचय