Interagir avec des DataFrames avec PySpark SQL

Principes de Big Data avec PySpark

Upendra Devisetty

Science Analyst, CyVerse

API DataFrame vs requêtes SQL

En PySpark, vous pouvez utiliser SparkSQL via l'API DataFrame et des requêtes SQL
L'API DataFrame offre un langage spécialisé (DSL) pour la manipulation des données
Les transformations et actions sur DataFrame sont plus simples à construire par programmation
Les requêtes SQL sont concises, faciles à comprendre et portables
Les opérations sur les DataFrames peuvent aussi se faire avec des requêtes SQL

Exécuter des requêtes SQL

La méthode sql() de SparkSession exécute une requête SQL
La méthode sql() prend une instruction SQL en argument et retourne un DataFrame

df.createOrReplaceTempView("table1")

df2 = spark.sql("SELECT field1, field2 FROM table1")
df2.collect()

[Row(f1=1, f2='row1'), Row(f1=2, f2='row2'), Row(f1=3, f2='row3')]

Requête SQL pour extraire des données

test_df.createOrReplaceTempView("test_table")

query = '''SELECT Product_ID FROM test_table'''

test_product_df = spark.sql(query)
test_product_df.show(5)

+----------+
|Product_ID|
+----------+
| P00069042|
| P00248942|
| P00087842|
| P00085442|
| P00285442|
+----------+

Résumer et regrouper des données avec des requêtes SQL

test_df.createOrReplaceTempView("test_table")

query = '''SELECT Age, max(Purchase) FROM test_table GROUP BY Age'''

spark.sql(query).show(5)

+-----+-------------+
|  Age|max(Purchase)|
+-----+-------------+
|18-25|        23958|
|26-35|        23961|
| 0-17|        23955|
|46-50|        23960|
|51-55|        23960|
+-----+-------------+
only showing top 5 rows

Filtrer des colonnes avec des requêtes SQL

test_df.createOrReplaceTempView("test_table")

query = '''SELECT Age, Purchase, Gender FROM test_table WHERE Purchase > 20000 AND Gender == "F"'''

spark.sql(query).show(5)

+-----+--------+------+
|  Age|Purchase|Gender|
+-----+--------+------+
|36-45|   23792|     F|
|26-35|   21002|     F|
|26-35|   23595|     F|
|26-35|   23341|     F|
|46-50|   20771|     F|
+-----+--------+------+
only showing top 5 rows

Passons à la pratique !

Principes de Big Data avec PySpark