Spark SQL

Python में Spark SQL परिचय

Mark Plutowski Phd

Data Scientist

SQL टेबल बनाएँ और क्वेरी चलाएँ

Pyspark Shell कर्सर

फ़ाइल से dataframe लोड करें

df = spark.read.csv(filename)

df = spark.read.csv(filename, header=True)

SQL टेबल बनाएँ और क्वेरी चलाएँ

df.createOrReplaceTempView("schedule")

spark.sql("SELECT * FROM schedule WHERE station = 'San Jose'")
     .show()

+--------+--------+-----+
|train_id| station| time|
+--------+--------+-----+
|     324|San Jose|9:05a|
|     217|San Jose|6:59a|
+--------+--------+-----+

टेबल schema निरीक्षण

result = spark.sql("SHOW COLUMNS FROM tablename")

result = spark.sql("SELECT * FROM tablename LIMIT 0")

result = spark.sql("DESCRIBE tablename")

result.show()

print(result.columns)

फ़्रेम

डेटा फ़्रेम

तालिकाबद्ध डेटा

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a| 
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     324|    Palo Alto|8:37a|
|     324|     San Jose|9:05a|
|     217|       Gilroy|6:06a|
|     217|   San Martin|6:15a|
|     217|  Morgan Hill|6:21a|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+

दो dataframes

दो dataframes concatenated

एक dataframe

एक dataframe को बाँटना 1

एक dataframe को बाँटना 2

एक dataframe को बाँटना 3

एक dataframe को बाँटना 4

एक dataframe को बाँटना 5

एक dataframe को बाँटना 6

वितरित रूप से बाँटा गया dataframe

SQL

Structured Query Language

क्वेरी करना

वितरित डेटा

वितरित डेटा + क्वेरी

Delimited टेक्स्ट लोड करना

कॉमा-डिलीमिटेड फ़ाइल trainsched.txt को df नाम के dataframe में लोड करता है:

df = spark.read.csv("trainsched.txt", header=True)

Delimited टेक्स्ट लोड करना

df = spark.read.csv("trainsched.txt", header=True)
df.show()

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a|
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     ...|          ...|  ...|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+

Pyspark Shell

Pyspark Shell कर्सर

Pyspark Shell

Pyspark Shell कर्सर

Pyspark Shell

Pyspark Shell कर्सर

Pyspark Shell

Pyspark Shell कर्सर

Pyspark Shell

Pyspark Shell कर्सर

अभ्यास करते हैं

Python में Spark SQL परिचय