Spark SQL

Einführung in Spark SQL mit Python

Mark Plutowski Phd

Data Scientist

SQL-Tabelle erstellen und abfragen

Pyspark-Shell-Cursor

Einführung in Spark SQL mit Python

DataFrame aus Datei laden

df = spark.read.csv(filename)

df = spark.read.csv(filename, header=True)
Einführung in Spark SQL mit Python

SQL-Tabelle erstellen und abfragen

df.createOrReplaceTempView("schedule")

spark.sql("SELECT * FROM schedule WHERE station = 'San Jose'")
     .show()

+--------+--------+-----+
|train_id| station| time|
+--------+--------+-----+
|     324|San Jose|9:05a|
|     217|San Jose|6:59a|
+--------+--------+-----+
Einführung in Spark SQL mit Python

Tabellenschema prüfen

result = spark.sql("SHOW COLUMNS FROM tablename")

result = spark.sql("SELECT * FROM tablename LIMIT 0")

result = spark.sql("DESCRIBE tablename")

result.show()

print(result.columns)
Einführung in Spark SQL mit Python

Rahmen

Einführung in Spark SQL mit Python

DataFrame

Einführung in Spark SQL mit Python

Tabellendaten

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a| 
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     324|    Palo Alto|8:37a|
|     324|     San Jose|9:05a|
|     217|       Gilroy|6:06a|
|     217|   San Martin|6:15a|
|     217|  Morgan Hill|6:21a|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+
Einführung in Spark SQL mit Python

zwei DataFrames

Einführung in Spark SQL mit Python

zwei DataFrames, zusammengeführt

Einführung in Spark SQL mit Python

ein DataFrame

Einführung in Spark SQL mit Python

Aufteilen eines DataFrames 1

Einführung in Spark SQL mit Python

Aufteilen eines DataFrames 2

Einführung in Spark SQL mit Python

Aufteilen eines DataFrames 3

Einführung in Spark SQL mit Python

Aufteilen eines DataFrames 4

Einführung in Spark SQL mit Python

Aufteilen eines DataFrames 5

Einführung in Spark SQL mit Python

Aufteilen eines DataFrames 6

Einführung in Spark SQL mit Python

Aufteilen eines DataFrames, verteilt

Einführung in Spark SQL mit Python

SQL

Einführung in Spark SQL mit Python

Structured Query Language

Einführung in Spark SQL mit Python

Abfragen

Einführung in Spark SQL mit Python

verteilte Daten

Einführung in Spark SQL mit Python

verteilte Daten + Abfrage

Einführung in Spark SQL mit Python

Getrennten Text laden

Lädt die kommagetrennte Datei trainsched.txt in ein DataFrame df:

df = spark.read.csv("trainsched.txt", header=True)
Einführung in Spark SQL mit Python

Getrennten Text laden

df = spark.read.csv("trainsched.txt", header=True)
df.show()

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a|
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     ...|          ...|  ...|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+
Einführung in Spark SQL mit Python

Pyspark-Shell

Einführung in Spark SQL mit Python

Pyspark-Shell-Cursor

Einführung in Spark SQL mit Python

Pyspark-Shell

Einführung in Spark SQL mit Python

Pyspark-Shell-Cursor

Einführung in Spark SQL mit Python

Pyspark-Shell

Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Pyspark-Shell

Einführung in Spark SQL mit Python

Pyspark-Shell-Cursor

Einführung in Spark SQL mit Python

Pyspark-Shell

Einführung in Spark SQL mit Python

Pyspark-Shell-Cursor

Einführung in Spark SQL mit Python

Pyspark-Shell

Einführung in Spark SQL mit Python

Pyspark-Shell-Cursor

Einführung in Spark SQL mit Python

Lass uns üben!

Einführung in Spark SQL mit Python

Preparing Video For Download...