Spark SQL

Python ile Spark SQL'e Giriş

Mark Plutowski Phd

Data Scientist

SQL tablosu oluşturma ve sorgulama

Pyspark Shell imleci

Dosyadan DataFrame yükleme

df = spark.read.csv(filename)

df = spark.read.csv(filename, header=True)

SQL tablosu oluşturma ve sorgulama

df.createOrReplaceTempView("schedule")

spark.sql("SELECT * FROM schedule WHERE station = 'San Jose'")
     .show()

+--------+--------+-----+
|train_id| station| time|
+--------+--------+-----+
|     324|San Jose|9:05a|
|     217|San Jose|6:59a|
+--------+--------+-----+

Tablo şemasını inceleme

result = spark.sql("SHOW COLUMNS FROM tablename")

result = spark.sql("SELECT * FROM tablename LIMIT 0")

result = spark.sql("DESCRIBE tablename")

result.show()

print(result.columns)

Çerçeve

Veri çerçevesi

Tablo verisi

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a| 
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     324|    Palo Alto|8:37a|
|     324|     San Jose|9:05a|
|     217|       Gilroy|6:06a|
|     217|   San Martin|6:15a|
|     217|  Morgan Hill|6:21a|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+

iki dataframe

iki dataframe birleştirildi

tek dataframe

bir dataframe bölünüyor 1

bir dataframe bölünüyor 2

bir dataframe bölünüyor 3

bir dataframe bölünüyor 4

bir dataframe bölünüyor 5

bir dataframe bölünüyor 6

dağıtık bir dataframe bölünüyor

SQL

Yapılandırılmış Sorgu Dili

sorgulama

dağıtık veri

dağıtık veri + sorgu

Sınırlandırılmış metin yükleme

Virgülle ayrılmış trainsched.txt dosyasını df adlı bir DataFrame'e yükler:

df = spark.read.csv("trainsched.txt", header=True)

Sınırlandırılmış metin yükleme

df = spark.read.csv("trainsched.txt", header=True)
df.show()

+--------+-------------+-----+
|train_id|      station| time|
+--------+-------------+-----+
|     324|San Francisco|7:59a|
|     324|  22nd Street|8:03a|
|     324|     Millbrae|8:16a|
|     324|    Hillsdale|8:24a|
|     324| Redwood City|8:31a|
|     ...|          ...|  ...|
|     217| Blossom Hill|6:36a|
|     217|      Capitol|6:42a|
|     217|       Tamien|6:50a|
|     217|     San Jose|6:59a|
+--------+-------------+-----+

Pyspark Shell

Pyspark Shell imleci

Pyspark Shell

Pyspark Shell imleci

Pyspark Shell

Pyspark Shell imleci

Pyspark Shell

Pyspark Shell imleci

Pyspark Shell

Pyspark Shell imleci

Hadi pratik yapalım

Python ile Spark SQL'e Giriş