Conectarea la Spark

Machine Learning cu PySpark

Andrew Collier

Data Scientist, Fathom Data

Interacțiunea cu Spark

Sigle pentru Java, Scala, Python și R.

Limbaje pentru interacțiunea cu Spark.

Java — nivel scăzut, compilat
Scala, Python și R — nivel înalt cu REPL interactiv

Importarea pyspark

Importați modulul pyspark din Python.

import pyspark

Verificați versiunea modulului pyspark.

pyspark.__version__

'2.4.1'

Submodule

Pe lângă pyspark, există și

Date structurate — pyspark.sql
Date în flux — pyspark.streaming
Învățare automată — pyspark.mllib (depreciat) și pyspark.ml

URL Spark

Cluster la distanță folosind URL Spark — spark://<IP address | DNS name>:<port>

Exemplu:

spark://13.59.151.161:7077

Cluster local

Exemple:

local — un singur nucleu;
local[4] — 4 nuclee; sau
local[*] — toate nucleele disponibile.

Crearea unui SparkSession

from pyspark.sql import SparkSession

Creați un cluster local folosind un builder SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Interacționați cu Spark...

# Close connection to Spark
>>> spark.stop()

Să ne conectăm la Spark!

Machine Learning cu PySpark