Interagera med DataFrames via PySpark SQL

Grunderna i Big Data med PySpark

Upendra Devisetty

Science Analyst, CyVerse

DataFrame API vs. SQL-frågor

I PySpark kan du interagera med SparkSQL via DataFrame API och SQL-frågor
DataFrame API erbjuder ett programmatiskt domänspecifikt språk (DSL) för data
DataFrame-transformationer och -åtgärder är enklare att konstruera programmatiskt
SQL-frågor kan vara koncisa, lättförståeliga och portabla
Operationer på DataFrames kan också utföras med SQL-frågor

Köra SQL-frågor

SparkSessions sql()-metod kör en SQL-fråga
sql() tar en SQL-sats som argument och returnerar resultatet som en DataFrame

df.createOrReplaceTempView("table1")

df2 = spark.sql("SELECT field1, field2 FROM table1")
df2.collect()

[Row(f1=1, f2='row1'), Row(f1=2, f2='row2'), Row(f1=3, f2='row3')]

SQL-fråga för att extrahera data

test_df.createOrReplaceTempView("test_table")

query = '''SELECT Product_ID FROM test_table'''

test_product_df = spark.sql(query)
test_product_df.show(5)

+----------+
|Product_ID|
+----------+
| P00069042|
| P00248942|
| P00087842|
| P00085442|
| P00285442|
+----------+

Sammanfatta och gruppera data med SQL-frågor

test_df.createOrReplaceTempView("test_table")

query = '''SELECT Age, max(Purchase) FROM test_table GROUP BY Age'''

spark.sql(query).show(5)

+-----+-------------+
|  Age|max(Purchase)|
+-----+-------------+
|18-25|        23958|
|26-35|        23961|
| 0-17|        23955|
|46-50|        23960|
|51-55|        23960|
+-----+-------------+
only showing top 5 rows

Filtrera kolumner med SQL-frågor

test_df.createOrReplaceTempView("test_table")

query = '''SELECT Age, Purchase, Gender FROM test_table WHERE Purchase > 20000 AND Gender == "F"'''

spark.sql(query).show(5)

+-----+--------+------+
|  Age|Purchase|Gender|
+-----+--------+------+
|36-45|   23792|     F|
|26-35|   21002|     F|
|26-35|   23595|     F|
|26-35|   23341|     F|
|46-50|   20771|     F|
+-----+--------+------+
only showing top 5 rows

Nu kör vi en övning!

Grunderna i Big Data med PySpark