Spark SQL

Introdução ao Spark SQL em Python

Mark Plutowski Phd

Data Scientist

Criar tabela SQL e consultar

Cursor do Pyspark Shell

Introdução ao Spark SQL em Python

Carregar DataFrame de arquivo

df = spark.read.csv(filename)

df = spark.read.csv(filename, header=True)
Introdução ao Spark SQL em Python

Criar tabela SQL e consultar

df.createOrReplaceTempView("schedule")

spark.sql("SELECT * FROM schedule WHERE station = 'San Jose'")
     .show()

+--------+--------+-----+
|train_id| station| time|
+--------+--------+-----+
|     324|San Jose|9:05a|
|     217|San Jose|6:59a|
+--------+--------+-----+
Introdução ao Spark SQL em Python

Inspecionar o schema da tabela

result = spark.sql("SHOW COLUMNS FROM tablename")

result = spark.sql("SELECT * FROM tablename LIMIT 0")

result = spark.sql("DESCRIBE tablename")

result.show()

print(result.columns)
Introdução ao Spark SQL em Python

Frame

Introdução ao Spark SQL em Python

Data Frame

Introdução ao Spark SQL em Python

Dados tabulares

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a| 
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     324|    Palo Alto|8:37a|
|     324|     San Jose|9:05a|
|     217|       Gilroy|6:06a|
|     217|   San Martin|6:15a|
|     217|  Morgan Hill|6:21a|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+
Introdução ao Spark SQL em Python

dois dataframes

Introdução ao Spark SQL em Python

dois dataframes concatenados

Introdução ao Spark SQL em Python

um dataframe

Introdução ao Spark SQL em Python

dividindo um dataframe 1

Introdução ao Spark SQL em Python

dividindo um dataframe 2

Introdução ao Spark SQL em Python

dividindo um dataframe 3

Introdução ao Spark SQL em Python

dividindo um dataframe 4

Introdução ao Spark SQL em Python

dividindo um dataframe 5

Introdução ao Spark SQL em Python

dividindo um dataframe 6

Introdução ao Spark SQL em Python

dividindo um dataframe distribuído

Introdução ao Spark SQL em Python

SQL

Introdução ao Spark SQL em Python

Linguagem de Consulta Estruturada

Introdução ao Spark SQL em Python

fazendo consultas

Introdução ao Spark SQL em Python

dados distribuídos

Introdução ao Spark SQL em Python

dados distribuídos + consulta

Introdução ao Spark SQL em Python

Carregar texto delimitado

Carrega um arquivo delimitado por vírgula trainsched.txt em um DataFrame chamado df:

df = spark.read.csv("trainsched.txt", header=True)
Introdução ao Spark SQL em Python

Carregar texto delimitado

df = spark.read.csv("trainsched.txt", header=True)
df.show()

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a|
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     ...|          ...|  ...|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+
Introdução ao Spark SQL em Python

Pyspark Shell

Introdução ao Spark SQL em Python

Cursor do Pyspark Shell

Introdução ao Spark SQL em Python

Pyspark Shell

Introdução ao Spark SQL em Python

Cursor do Pyspark Shell

Introdução ao Spark SQL em Python

Pyspark Shell

Introdução ao Spark SQL em Python

Introdução ao Spark SQL em Python

Pyspark Shell

Introdução ao Spark SQL em Python

Cursor do Pyspark Shell

Introdução ao Spark SQL em Python

Pyspark Shell

Introdução ao Spark SQL em Python

Cursor do Pyspark Shell

Introdução ao Spark SQL em Python

Pyspark Shell

Introdução ao Spark SQL em Python

Cursor do Pyspark Shell

Introdução ao Spark SQL em Python

Vamos praticar!

Introdução ao Spark SQL em Python

Preparing Video For Download...