Çıkart Dönüştür Seç

Python ile Spark SQL'e Giriş

Mark Plutowski

Data Scientist

ETS

Çıkart Dönüştür Seç

Çıkart, Dönüştür ve Seç

Çıkartma
Dönüştürme
Seçim

Yerleşik fonksiyonlar

from pyspark.sql.functions import split, explode

length fonksiyonu

from pyspark.sql.functions import length

df.where(length('sentence') == 0)

Özel bir fonksiyon oluşturma

Kullanıcı Tanımlı Fonksiyon
UDF

udf fonksiyonunu içe aktarma

from pyspark.sql.functions import udf

Boole UDF oluşturma

print(df)

DataFrame[textdata: string]

from pyspark.sql.functions import udf

from pyspark.sql.types import BooleanType

Boole UDF oluşturma

short_udf = udf(lambda x: 
                          True if not x or len(x) < 10 else False, 
                          BooleanType())

df.select(short_udf('textdata')\
  .alias("is short"))\
  .show(3)

+--------+
|is short|
+--------+
|   false|
|    true|
|   false|
+--------+

Önemli UDF dönüş tipleri

from pyspark.sql.types import StringType, IntegerType, FloatType, ArrayType

Dizi UDF'i oluşturma

df3.select('word array', in_udf('word array').alias('without endword'))\
   .show(5, truncate=30)

+-----------------------------+----------------------+
|                   word array|       without endword|
+-----------------------------+----------------------+
|[then, how, many, are, there]|[then, how, many, are]|
|                  [how, many]|                 [how]|
|             [i, donot, know]|            [i, donot]|
|                  [quite, so]|               [quite]|
|   [you, have, not, observed]|      [you, have, not]|
+-----------------------------+----------------------+

Dizi UDF'i oluşturma

from pyspark.sql.types import StringType, ArrayType

# Removes last item in array
in_udf = udf(lambda x: 
    x[0:len(x)-1] if x and len(x) > 1 
    else [], 
    ArrayType(StringType()))

Seyrek vektör biçimi

İndisler
Değerler

Örnek:

Dizi: [1.0, 0.0, 0.0, 3.0]
Seyrek vektör: (4, [0, 3], [1.0, 3.0])

Vektör verilerle çalışma

hasattr(x, "toArray")
x.numNonzeros())

Hadi pratik yapalım!

Python ile Spark SQL'e Giriş