Spark SQL

Úvod do Spark SQL v Pythonu

Mark Plutowski Phd

Data Scientist

Vytvoření a dotazování SQL tabulky

Kurzor prostředí PySpark

Úvod do Spark SQL v Pythonu

Načtení datového rámce ze souboru

df = spark.read.csv(filename)

df = spark.read.csv(filename, header=True)
Úvod do Spark SQL v Pythonu

Vytvoření a dotazování SQL tabulky

df.createOrReplaceTempView("schedule")

spark.sql("SELECT * FROM schedule WHERE station = 'San Jose'")
     .show()

+--------+--------+-----+
|train_id| station| time|
+--------+--------+-----+
|     324|San Jose|9:05a|
|     217|San Jose|6:59a|
+--------+--------+-----+
Úvod do Spark SQL v Pythonu

Zobrazení schématu tabulky

result = spark.sql("SHOW COLUMNS FROM tablename")

result = spark.sql("SELECT * FROM tablename LIMIT 0")

result = spark.sql("DESCRIBE tablename")

result.show()

print(result.columns)
Úvod do Spark SQL v Pythonu

Rámec

Úvod do Spark SQL v Pythonu

Datový rámec

Úvod do Spark SQL v Pythonu

Tabulková data

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a| 
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     324|    Palo Alto|8:37a|
|     324|     San Jose|9:05a|
|     217|       Gilroy|6:06a|
|     217|   San Martin|6:15a|
|     217|  Morgan Hill|6:21a|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+
Úvod do Spark SQL v Pythonu

dva datové rámce

Úvod do Spark SQL v Pythonu

dva datové rámce se šipkou

Úvod do Spark SQL v Pythonu

jeden datový rámec

Úvod do Spark SQL v Pythonu

rozdělení datového rámce 1

Úvod do Spark SQL v Pythonu

rozdělení datového rámce 2

Úvod do Spark SQL v Pythonu

rozdělení datového rámce 3

Úvod do Spark SQL v Pythonu

rozdělení datového rámce 4

Úvod do Spark SQL v Pythonu

rozdělení datového rámce 5

Úvod do Spark SQL v Pythonu

rozdělení datového rámce 6

Úvod do Spark SQL v Pythonu

distribuované rozdělení datového rámce

Úvod do Spark SQL v Pythonu

SQL

Úvod do Spark SQL v Pythonu

Strukturovaný dotazovací jazyk

Úvod do Spark SQL v Pythonu

dotazování

Úvod do Spark SQL v Pythonu

distribuovaná data

Úvod do Spark SQL v Pythonu

distribuovaná data + dotaz

Úvod do Spark SQL v Pythonu

Načítání textových souborů s oddělovačem

Načte soubor s oddělovačem trainsched.txt do datového rámce df:

df = spark.read.csv("trainsched.txt", header=True)
Úvod do Spark SQL v Pythonu

Načítání textových souborů s oddělovačem

df = spark.read.csv("trainsched.txt", header=True)
df.show()

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a|
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     ...|          ...|  ...|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+
Úvod do Spark SQL v Pythonu

Prostředí PySpark

Úvod do Spark SQL v Pythonu

Kurzor prostředí PySpark

Úvod do Spark SQL v Pythonu

Prostředí PySpark

Úvod do Spark SQL v Pythonu

Kurzor prostředí PySpark

Úvod do Spark SQL v Pythonu

Prostředí PySpark

Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Prostředí PySpark

Úvod do Spark SQL v Pythonu

Kurzor prostředí PySpark

Úvod do Spark SQL v Pythonu

Prostředí PySpark

Úvod do Spark SQL v Pythonu

Kurzor prostředí PySpark

Úvod do Spark SQL v Pythonu

Prostředí PySpark

Úvod do Spark SQL v Pythonu

Kurzor prostředí PySpark

Úvod do Spark SQL v Pythonu

Pojďme si to procvičit!

Úvod do Spark SQL v Pythonu

Preparing Video For Download...