Ansluta till Spark

Maskininlärning med PySpark

Andrew Collier

Data Scientist, Fathom Data

Interagera med Spark

Logotyper för Java, Scala, Python och R.

Språk för att arbeta med Spark.

Java — lågnivå, kompilerat
Scala, Python och R — högnivå med interaktiv REPL

Importera pyspark

Importera modulen pyspark från Python.

import pyspark

Kontrollera versionen av modulen pyspark.

pyspark.__version__

'2.4.1'

Delmoduler

Utöver pyspark finns det

Strukturerad data — pyspark.sql
Strömmande data — pyspark.streaming
Maskininlärning — pyspark.mllib (inaktuell) och pyspark.ml

Spark-URL

Fjärrkluster med Spark-URL — spark://<IP address | DNS name>:<port>

Exempel:

spark://13.59.151.161:7077

Lokalt kluster

Exempel:

local — endast 1 kärna;
local[4] — 4 kärnor; eller
local[*] — alla tillgängliga kärnor.

Skapa en SparkSession

from pyspark.sql import SparkSession

Skapa ett lokalt kluster med en SparkSession-byggare.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Interagera med Spark...

# Close connection to Spark
>>> spark.stop()

Nu kör vi en övning!

Maskininlärning med PySpark